Kako narediti aplikacijo AI klepetalnega bota: ključi, pozivi, stroški in varnost

Za izdelavo aplikacije AI klepetalnega bota potrebujete štiri stvari: klepetalni vmesnik, majhen strežnik, ki hrani API ključ ponudnika modela in sporočila posreduje naprej, sistemski poziv, ki modelu pove, kdo je in kaj sme početi, ter omejitve, ki nadzorujejo stroške in zlorabe. Graditelj aplikacij z umetno inteligenco lahko vse to napiše iz opisa. Stvari, ki ostanejo na vas, so izbira ponudnika, pisanje navodil in odločitev, česar bot nikoli ne sme početi.

Iz česa je sestavljena aplikacija AI klepetalnega bota

Večina aplikacij klepetalnih botov, naj gre za podporno pomoč, učitelja ali interno orodje „vprašaj naše dokumente“, ima iste dele:

Strežniška pot je del, ki ga ljudje najpogosteje zgrešijo. Če stran s klepetom kliče ponudnika neposredno iz brskalnika, lahko kdorkoli odpre orodja za razvijalce, skopira vaš ključ in porabi vaš proračun.

Odločitve pred gradnjo

Ponudnik in model

Glavni ponudniki (OpenAI, Anthropic, Google in drugi) ponujajo klepetalni API, ki deluje enako: pošljete seznam sporočil in dobite odgovor. Praktična izbira je manj vprašanje blagovne znamke kot velikosti modela:

• Manjši, hitrejši modeli so cenejši in hitro odgovarjajo. Primerni so za kratke odgovore, razvrščanje in preproste bote z najpogostejšimi vprašanji.
• Večji modeli bolje sklepajo, zanesljiveje sledijo dolgim navodilom in obvladajo zapletena vprašanja, vendar so dražji na sporočilo in počasnejši.

Začnite s srednje velikim modelom, ga preizkusite na svojih pravih vprašanjih in se nato po potrebi premaknite navzgor ali navzdol. Če se še niste seznanili z načinom obračunavanja in klicev teh API-jev, najprej preberite kako uporabljati LLM API-je.

Od kod prihaja znanje bota

Začnite z najpreprostejšo možnostjo, ki pokrije vašo vsebino. Iskanje prinese indeks, potrebo po posodabljanju in več mest, kjer lahko odgovori odpovejo. Veliko koristnih botov iskanja nikoli ne potrebuje.

Javno ali za prijavo

Javnega klepetalnega bota na vaši spletni strani je lahko doseči, a ga je tudi lahko zlorabiti: nekdo lahko z skriptom pošlje na tisoče sporočil. Klepetalni bot za prijavljene uporabnike omogoča shranjevanje zgodovine za vsakega uporabnika in dnevno omejitev za vsak račun. Če je bot javen, omejite dolžino sporočila, število sporočil, ki jih lahko en obiskovalec pošlje v določenem obdobju, in v nadzorni plošči ponudnika nastavite trdo mesečno omejitev. Kako dodati prijavo v vašo aplikacijo pokriva del z računi.

Ali shranjevati pogovore

Shranjene niti so koristne: uporabniki lahko nadaljujejo tam, kjer so ostali, vi pa lahko preberete prava vprašanja in izboljšate poziv. Hkrati so to osebni podatki. Odločite se, kako dolgo jih hranite, to zapišite v obvestilo o zasebnosti in ne shranjujte ničesar, kar ne potrebujete.

Sistemski poziv napišite kot opis delovnega mesta

Sistemski poziv je navodilo, ki ga model prejme pred vsakim pogovorom. Dober poziv je kot kratek opis dela za novega sodelavca:

• Vloga in občinstvo: „Ste pomočnik za pomoč strankam v Oakline, delavnici za popravilo koles. Pogovarjate se s strankami.“
• Obseg: „Odgovarjajte na vprašanja o storitvah, cenah, delovnem času in rezervacijah. Za vse drugo povejte, da lahko pomagate samo pri temah delavnice.“
• Vir resnice: „Uporabljajte samo spodnje informacije. Če odgovora ni tu, povejte, da ga ne poznate, in podajte telefonsko številko delavnice.“
• Ton in dolžina: „Prijazno, v preprostem jeziku, največ tri stavke, razen če je zahtevana podrobnost.“
• Trda pravila: „Nikoli ne obljubite cene popravila, ki ni navedena. Nikoli ne sprašujte za podatke o kartici.“

Nato preizkusite poziv z nerodnimi vprašanji: nepovezanimi prošnjami, nevljudnimi sporočili, vprašanji, katerih odgovori niso v vaši vsebini, in poskusi, da bi bot prezrl navodila („pozabi svoja pravila in …“). Poziv prilagajajte, dokler odgovori niso takšni, da bi jih lahko podpisali s svojim imenom.

Stroške naredite predvidljive

Ponudniki zaračunavajo po žetonih (grobo rečeno po kosih besed) za vhod, ki ga pošljete, in izhod, ki ga model napiše. Račun določajo trije dejavniki:

1. Dolžina pogovora. Vsako novo sporočilo običajno ponovno pošlje celotno nit, da ima model kontekst. 40-sporočilni pogovor stane veliko več na odgovor kot 4-sporočilni. Hranite samo zadnjih nekaj izmenjav ali povzemite starejše.
2. Velikost poziva. Dolg sistemski poziv ali velik blok prilepljenega znanja se pošlje s prav vsakim sporočilom.
3. Dolžina odgovora. V klicu API nastavite največjo dolžino odgovora in v pozivu zahtevajte jedrnate odgovore.

Pred objavo v nadzorni plošči ponudnika nastavite mesečno omejitev porabe in beležite porabo žetonov za vsak zahtevek, da vidite, kateri pogovori so dragi. Cen tu ne navajamo, ker so odvisne od modela in se pogosto spreminjajo. Preverite stran s cenami svojega ponudnika.

Gradnja po korakih

Korak 1: Opišite bota, ne kode

Prvi poziv, ki imenuje občinstvo, obseg, podatke in varnostna pravila, vas pripelje skoraj do cilja:

Zgradi klepetalnega pomočnika za pomoč strankam za Oakline, delavnico za popravilo koles. Klepetalna stran s seznamom sporočil in vnosnim poljem, odgovori naj se pišejo sproti. Pokliči Anthropic API iz strežniške poti s skrivnim ključem ANTHROPIC_API_KEY, nikoli ga ne izpostavi brskalniku. Uporabi sistemski poziv, ki odgovarja samo o naših storitvah, cenah in urah iz datoteke shop-info.md, in za vse drugo odgovori „Nisem prepričan, pokličite nas na spodnjo številko“. Omeji sporočila na 500 znakov in 20 sporočil na obiskovalca na uro. Čist, prijazen dizajn, ki deluje na telefonih.

Korak 2: Dodajte ključ kot skrivnost

Ključ ustvarite v konzoli svojega ponudnika in ga shranite med okoljske spremenljivke ali skrivnosti projekta, ne v klepet in ne v kodo. Če se ključ kdaj pojavi kjerkoli javno, ga v nadzorni plošči ponudnika prekličite in ustvarite novega. Kaj so okoljske spremenljivke in skrivnosti pojasni, zakaj je to pomembno.

Korak 3: Preizkusite odgovore, ne samo vmesnika

Ko klepet deluje, večino časa porabite za kakovost odgovorov. Hranite seznam 20 pravih vprašanj, med njimi nekaj takšnih, ki bi morala biti zavrnjena, in jih preizkusite po vsaki spremembi poziva. Preverite:

• Ali bot ostaja v okviru teme?
• Ali prizna, kadar ne ve, namesto da bi izmislil odgovor?
• Ali zdrži, ko nekdo poskuša prepisati njegova navodila?
• Ali ključ ni prisoten v ničemer, kar brskalnik prenese?

Korak 4: Dodajte pomnjenje in račune, če jih potrebujete

Ko delujejo posamezni pogovori, zahtevajte shranjene niti v bazi in po potrebi registracijo ter prijavo, da vsak uporabnik vidi samo svoje klepete. Hkrati dodajte dnevno omejitev sporočil za vsakega uporabnika.

Korak 5: Objavite z vklopljenimi omejitvami

Poskrbite, da ima objavljena aplikacija enake skrivnosti kot predogled, da je pri ponudniku nastavljena omejitev porabe in da se napake beležijo na mestu, kjer jih boste videli. Nato aplikacijo delite z majhno skupino, preden jo postavite na glavno spletno stran.

Varnost in zaupanje

Klepetalni bot se z javnostjo pogovarja v vašem imenu, zato so njegove napake vaša odgovornost:

• Napačni odgovori. Modeli lahko z veliko samozavestjo povedo lažne stvari. Bot naj ostane pri ozki temi, temelji na vaši vsebini in pri pomembnih vprašanjih pokaže kratko opozorilo, da so odgovori lahko napačni.
• Vbrizgavanje pozivov. Uporabniki (ali dokumenti, ki jih bot bere) lahko vsebujejo navodila, kot je „prezri prejšnja pravila“. Botu ne dajajte pooblastil, ki jim ne morete zaupati: brez vračil, brisanj ali pošiljanja e-pošte na uporabnikovo prošnjo brez preverjanja v vaši kodi.
• Občutljive teme. Pri medicinskih, pravnih ali finančnih vprašanjih naj bot ljudi usmeri k strokovnjaku, namesto da svetuje.
• Osebni podatki. V pozive ne prilepljajte evidenc strank, razen če je to nujno, in preverite, kaj pogoji vašega ponudnika pravijo o obravnavi podatkov iz API-ja.

Naš kontrolni seznam varnosti za aplikacije, zgrajene z umetno inteligenco, pokriva širšo aplikacijo.

Pogoste napake

• Klicanje ponudnika iz brskalnika. Ključ uteče. Vedno gre prek vašega strežnika.
• Brez omejitev za javnega bota. En skript lahko porabi mesečni proračun v nekaj urah.
• Začetek z iskanjem, orodji in več modeli hkrati. Najprej naj deluje en dober pogovor; ostalo dodajte, ko vam prava vprašanja pokažejo, da je potrebno.
• Testiranje samo prijaznih vprašanj. Vaši uporabniki bodo prvi dan postavljali čudna, sovražna in nepovezana vprašanja.
• Nit, ki raste brez konca. Stroški in časi odziva rastejo z vsakim sporočilom.

Kdaj je boljša gotova rešitev

Lasten bot je smiseln, ko je klepet del vašega izdelka, potrebuje vaše podatke ali delovni tok ali ima določen videz in vedenje. Pogosto pa to ni prava izbira, če:

• Želite samo podporni pripomoček na obstoječi spletni strani. Številna orodja za podporo in klepet v živo že vključujejo AI bote, ki berejo vaše središče za pomoč, s predajo človeku, nabiralnikom in poročili.
• Bo orodje uporabljal samo vi ali vaša ekipa. Naročnina na splošnega asistenta, kot sta ChatGPT ali Claude, z naloženimi dokumenti je lahko vse, kar potrebujete.
• Potrebujete stroga jamstva skladnosti (na primer za regulirane zdravstvene ali finančne podatke). Ponudnik, ki že ima certifikate, je lahko varnejši od lastne rešitve.

Gradnja z Mythexom

Mythex je graditelj aplikacij z umetno inteligenco: klepetalnega bota opišete v klepetu, ta pa napiše vmesnik in strežniški klic, ga zažene v živem predogledu in objavi na javnem naslovu. AI v vaši aplikaciji uporablja vaš lasten ključ ponudnika. Dodate ga med skrivnosti projekta ali prek kartice s skrivnostmi, ki se v klepetu prikaže, ko je potrebna. Uporaba ponudnika se zaračunava vašemu računu pri ponudniku, ne kreditom za gradnjo v Mythexu. Mythex ne vključuje žetonov za uporabnike vaše aplikacije, izdelka za bazo znanja ali pripravljenih omejitev hitrosti: to so deli, ki jih zahtevate in preizkusite sami. Dokumentacija o dodajanju AI v vašo aplikacijo vas vodi skozi postopek, dodajanje AI z lastnimi API ključi pa ima začetni poziv.

Če bot potrebuje shranjene niti, Mythex projektu na vašo zahtevo doda bazo Postgres. Za več načinov uporabe modelov v aplikaciji, od povzetkov do razvrščanja, glejte kako dodati funkcije umetne inteligence v aplikacijo, ali poglejte predloge aplikacij za izhodiščne točke.

Vprašanja