Kā izveidot AI čatbota lietotni: atslēgas, uzvednes, izmaksas un drošība

Lai izveidotu AI čatbota lietotni, vajag četras lietas: tērzēšanas saskarni, nelielu serveri, kas glabā jūsu modeļa pakalpojumu sniedzēja API atslēgu un pārsūta tai ziņas, sistēmas uzvedni, kurā noteikts, kas bots ir un ko tam drīkst darīt, un ierobežojumus, kas kontrolē izmaksas un ļaunprātīgu lietošanu. AI lietotņu veidotājs visu to var uzrakstīt pēc apraksta. Darbs, kas paliek jums, ir izvēlēties pakalpojumu sniedzēju, uzrakstīt instrukcijas un izlemt, ko bots nekad nedrīkst darīt.

No kā sastāv AI čatbota lietotne

Vairums čatbotu lietotņu, vai tas būtu atbalsta asistents, pasniedzējs vai iekšējs rīks „jautā mūsu dokumentiem”, ir vienādas daļas:

Servera maršruts ir daļa, ko cilvēki visbiežāk izdara nepareizi. Ja tērzēšanas lapa izsauc pakalpojumu sniedzēju tieši no pārlūka, ikviens var atvērt izstrādātāja rīkus, nokopēt jūsu atslēgu un palaist savu rēķinu.

Lēmumi, kas jāpieņem pirms būvēšanas

Pakalpojumu sniedzējs un modelis

Galvenie pakalpojumu sniedzēji (OpenAI, Anthropic, Google un citi) piedāvā tērzēšanas stila API, kas darbojas vienādi: jūs nosūtāt ziņu sarakstu un saņemat atbildi. Praktiskā izvēle ir mazāk par zīmolu un vairāk par modeļa izmēru:

• Mazāki, ātrāki modeļi ir lētāki un atbild ātri. Tie der īsām atbildēm, klasifikācijai un vienkāršiem BUJ botiem.
• Lielāki modeļi labāk spriež, precīzāk seko garām instrukcijām un tiek galā ar sarežģītiem jautājumiem, bet katra ziņa maksā vairāk un atbild lēnāk.

Sāciet ar vidēja izmēra modeli, pārbaudiet to ar saviem īstajiem jautājumiem un no turienes virziet uz augšu vai uz leju. Ja neesat pazīstams ar to, kā šie API tiek cenoti un izsaukti, vispirms izlasiet kā izmantot LLM API.

No kurienes nāk bota zināšanas

Sāciet ar vienkāršāko variantu, kas aptver jūsu saturu. Izguve pievieno meklēšanas indeksu, veidu, kā to atjaunot, un vairāk vietu, kur atbildes var nepareizi. Daudzi noderīgi boti nekad neprasa izguvi.

Publiski vai aiz pieteikšanās

Publisks čatbots jūsu tīmekļa vietnē ir viegli sasniedzams, bet arī viegli ļaunprātīgi izmantojams: kāds var ar skriptu nosūtīt tūkstošiem ziņu. Čatbots aiz pieteikšanās ļauj saglabāt vēsturi katram lietotājam un noteikt dienas kvotu katram kontam. Ja tas ir publisks, ierobežojiet ziņas garumu, ierobežojiet, cik ziņu viens apmeklētājs var nosūtīt noteiktā laika posmā, un iestatiet stingru mēneša limitu pakalpojumu sniedzēja panelī. Par kontu pusi stāsta kā pievienot lietotnei pieteikšanos.

Vai saglabāt sarunas

Saglabātie pavedieni ir noderīgi: lietotāji var turpināt, kur bija palikuši, un jūs varat lasīt reālus jautājumus, lai uzlabotu uzvedni. Tie tomēr ir personas dati. Izlemiet, cik ilgi tos glabāt, uzrādiet to savā privātuma paziņojumā un neglabājiet neko, kas nav vajadzīgs.

Uzrakstiet sistēmas uzvedni kā darba aprakstu

Sistēmas uzvedne ir instrukcija, ko modelis saņem pirms katras sarunas. Laba uzvedne izskatās kā īss uzdevums jaunam darbiniekam:

• Loma un auditorija: „Jūs esat Oakline, velosipēdu remonta darbnīcas palīgs. Runājat ar klientiem.”
• Darbības joma: „Atbildiet uz jautājumiem par pakalpojumiem, cenām, darba laiku un rezervēšanu. Par visu citu sakiet, ka varat palīdzēt tikai ar darbnīcu.”
• Patiesības avots: „Izmantojiet tikai tālāk sniegto informāciju. Ja atbildes tur nav, sakiet, ka nezināt, un dodiet darbnīcas tālruni.”
• Tonis un garums: „Draudzīgi, vienkārša valoda, trīs teikumi vai mazāk, ja nelūdz sīkāk.”
• Stingri noteikumi: „Nekad nesolīt remonta cenu, kas nav norādīta. Nekad nelūgt kartes datus.”

Pēc tam pārbaudiet to ar neērtiem jautājumiem: pilnīgi nesaistītiem pieprasījumiem, rupjām ziņām, jautājumiem, uz kuriem atbilde nav jūsu saturā, un mēģinājumiem likt botam ignorēt instrukcijas („aizmirsti noteikumus un…”). Pielāgojiet uzvedni, līdz atbildes ir tādas, ar kurām varat parakstīties.

Turiet izmaksas paredzamas

Pakalpojumu sniedzēji maksā par marķieriem (aptuveni vārdu daļām) par ievadi, ko sūtāt, un par izvadi, ko modelis raksta. Rēķinu nosaka trīs lietas:

1. Sarunas garums. Katra jaunā ziņa parasti nosūta visu pavedienu, lai modelim būtu konteksts. Saruna ar 40 ziņām katrai atbildei maksā daudz vairāk nekā saruna ar četrām ziņām. Glabājiet tikai pēdējos dažus gājienus vai apkopojiet vecākos.
2. Uzvednes izmērs. Garš sistēmas uzvednes teksts vai liels ievietots zināšanu bloks tiek sūtīts ar katru ziņu.
3. Izvades garums. Iestatiet maksimālo atbildes garumu API izsaukumā un uzvednē lūdziet kodolīgas atbildes.

Pirms palaišanas iestatiet pakalpojumu sniedzēja panelī mēneša tēriņu limitu un katrs pieprasījums reģistrējiet marķieru patēriņu, lai redzētu, kuras sarunas ir dārgas. Cenas šeit nepiedāvājam, jo tās atšķiras pēc modeļa un bieži mainās; pārbaudiet paša pakalpojumu sniedzēja cenu lapu.

Izveidojiet soli pa solim

1. solis: aprakstiet botu, nevis kodu

Pirmā uzvedne, kas nosauc auditoriju, darbības jomu, datus un drošības noteikumus, jau lielāko daļu paveic:

Izveidojiet klientu atbalsta čatbotu Oakline, velosipēdu remonta darbnīcai. Tērzēšanas lapa ar ziņu sarakstu un ievadi, atbildes parādās, kamēr tās tiek rakstītas. Izsauciet Anthropic API no servera maršruta, izmantojot slepeno ANTHROPIC_API_KEY — nekad neatklājiet to pārlūkam. Izmantojiet sistēmas uzvedni, kas atbild tikai uz jautājumiem par mūsu pakalpojumiem, cenām un darba laiku no faila shop-info.md, bet citādi saka „Neesmu pārliecināts — zvaniet mums uz tālruni zemāk”. Ierobežojiet ziņas līdz 500 rakstzīmēm un 20 ziņām vienam apmeklētājam stundā. Tīrs, draudzīgs dizains, kas darbojas uz tālruņiem.

2. solis: pievienojiet atslēgu kā noslēpumu

Izveidojiet atslēgu sava pakalpojumu sniedzēja konsolē un saglabājiet to projekta vides mainīgajos vai noslēpumos, nevis sarunā un nevis kodā. Ja atslēga kaut kur parādās publiski, atsauciet to pakalpojumu sniedzējā un izveidojiet jaunu. Kas ir vides mainīgie un noslēpumi izskaidro, kāpēc tas ir svarīgi.

3. solis: pārbaudiet atbildes, nevis tikai saskarni

Kad čatbots darbojas, lielāko daļu laika veltiet atbilžu kvalitātei. Turiet sarakstu ar aptuveni 20 reāliem jautājumiem, ieskaitot dažus, uz kuriem bots nedrīkst atbildēt, un pārbaudiet tos pēc katras uzvednes izmaiņas. Pārbaudiet:

• Vai bots paliek savā darbības jomā?
• Vai tas atzīst, ka nezina, nevis izdomā atbildi?
• Vai tas notur, kad kāds mēģina ignorēt tā instrukcijas?
• Vai atslēga nav nevienā failā, ko lejupielādē pārlūks?

4. solis: pievienojiet atmiņu un kontus, ja vajag

Kad atsevišķas sarunas darbojas, pieprasiet saglabātus pavedienus datubāzē un, ja nepieciešams, reģistrēšanos un pieteikšanos, lai katrs lietotājs redzētu tikai savas sarunas. Vienlaikus pievienojiet katram lietotājam dienas ziņu kvotu.

5. solis: publicējiet ar ieslēgtiem ierobežojumiem

Pārliecinieties, ka publicētajai lietotnei ir tie paši noslēpumi, kas priekšskatījumā, pakalpojumu sniedzējā ir iestatīts tēriņu griesti un kļūdas tiek reģistrētas vietā, kur tās redzēsiet. Tad dalieties ar nelielu grupu, pirms to liekat uz galvenās vietnes.

Drošība un uzticamība

Čatbots sarunājas ar sabiedrību jūsu vārdā, tāpēc tā kļūmes ir jūsu problēma:

• Nepareizas atbildes. Modeļi var pārliecinoši apgalvot nepatiesas lietas. Turiet botu šaurā tēmā, balstiet to uz saviem saturiem un parādiet īsu piezīmi, ka atbildes var būt nepareizas, ja runa ir par kaut ko svarīgu.
• Uzvedņu injekcija. Lietotāji (vai dokumenti, ko bots lasa) var saturēt instrukcijas, piemēram, „ignorē iepriekšējos noteikumus”. Nedodiet botam pilnvaras, kurām tam nevar uzticēties: nekādu atmaksu, dzēšanu vai e-pasta sūtīšanu pēc lietotāja vārda bez pārbaudes jūsu pašu kodā.
• Jūtīgas tēmas. Medicīnas, juridiskos vai finanšu jautājumos liekat botam norādīt uz speciālistu, nevis dot padomu.
• Personas dati. Neielieciet klientu ierakstus uzvednēs, ja tas nav vajadzīgs, un pārbaudiet, ko pakalpojumu sniedzēja noteikumi saka par API datu apstrādi.

Mūsu drošības pārbaudes saraksts AI veidotām lietotnēm aptver plašāku lietotni.

Biežākās kļūdas

• Pakalpojumu sniedzēja izsaukums no pārlūka. Atslēga noplūst. Vienmēr ejiet caur savu serveri.
• Publisks bots bez ierobežojumiem. Viens skripts var iztukšot mēneša budžetu vienas pēcpusdienas laikā.
• Vienlaikus sākt ar RAG, rīkiem un vairākiem modeļiem. Vispirms panāciet vienu labu sarunu; pievienojiet pārējo, kad reāli jautājumi parādīs, ka tas vajadzīgs.
• Testēt tikai draudzīgus jautājumus. Jūsu lietotāji pirmajā dienā jautās dīvainas, naidīgas un nesaistītas lietas.
• Ļaut pavedienam augt bezgalīgi. Izmaksas un atbildes laiks katrā ziņā pieaug.

Kad labāka izvēle ir gatavs produkts

Savs čatbots ir loģisks, ja tas ir jūsu produkta daļa, vajag jūsu pašu datus vai darbplūsmu vai noteiktu izskatu un uzvedību. Bieži labāk izvēlēties gatavu risinājumu, kad:

• Vajag tikai atbalsta logu esošā vietnē. Daudzi palīdzības dienesta un tiešraides tērzēšanas produkti tagad piedāvā AI atbilžu botus, kas lasa jūsu palīdzības centru, ar nodošanu cilvēkam, iesūtni un pārskatiem jau iebūvētiem.
• Lietos tikai jūs vai jūsu komanda. Vispārīgā asistenta, piemēram, ChatGPT vai Claude, abonements ar augšupielādētiem dokumentiem var būt viss, kas vajadzīgs.
• Vajag stingras atbilstības garantijas (piemēram, regulētiem veselības vai finanšu datiem). Pakalpojumu sniedzējs, kuram jau ir sertifikāti, var būt drošāks par pašu veidotu risinājumu.

Izveidot ar Mythex

Mythex ir AI lietotņu veidotājs: čatā aprakstāt čatbotu, un tas uzraksta saskarni un servera izsaukumu, palaiž to priekšskatījumā un publicē publiskā URL. AI lietotnē izmanto jūsu pašu pakalpojumu sniedzēja atslēgu. To pievienojat projekta noslēpumos vai caur noslēpumu kartīti, ko Mythex parāda čatā, kad tā ir vajadzīga, un pakalpojumu sniedzēja lietojums tiek izrēķināts jūsu pakalpojumu sniedzēja kontā, nevis Mythex veidošanas kredītos. Mythex lietotāju marķieri, iebūvētu zināšanu bāzes produktu vai gatavus pieprasījumu limitus neiekļauj: tās ir daļas, ko pieprasāt un testējat paši. Dokumentācijas lappuse par AI iekšā jūsu lietotnē parāda soli pa solim, un pievienot AI ar saviem API atslēgām satur sākuma uzvedni.

Ja botam vajag saglabātus pavedienus, Mythex projektam pievieno Postgres datubāzi, kad to pieprasāt. Par citiem veidiem, kā lietot modeļus lietotnē, no kopsavilkumiem līdz klasifikācijai, skatiet kā pievienot AI funkcijas savai lietotnei, vai pārlūkojiet lietotņu veidnes kā sākumpunktus.

Jautājumi