Kaip sukurti AI pokalbių roboto programėlę: raktai, užklausos, kaštai ir saugumas

Kad sukurtumėte AI pokalbių roboto programėlę, jums reikia keturių dalykų: pokalbio sąsajos, nedidelio serverio, kuris saugo modelio teikėjo API raktą ir perduoda į jį žinutes, sistemos užklausos, nurodančios modeliui, kas jis yra ir ką jam leidžiama daryti, bei ribojimų, kurie kontroliuoja kaštus ir piktnaudžiavimą. AI programėlių kūrimo įrankis visa tai gali sukurti pagal aprašymą. Už jus lieka pasirinkti teikėją, parašyti instrukcijas ir nuspręsti, ko robotas niekada neturi daryti.

Iš ko sudarytas AI pokalbių robotas

Daugumą pokalbių robotų programėlių, nesvarbu, ar tai pagalbos asistentas, mokytojas, ar vidinis įrankis „paklauskite mūsų dokumentų“, sudaro tos pačios dalys:

Serverio maršrutą žmonės dažniausiai įgyvendina netinkamai. Jei pokalbio puslapis kreipiasi į teikėją tiesiogiai iš naršyklės, bet kas gali atidaryti kūrėjo įrankius, nukopijuoti jūsų raktą ir sunaudoti jūsų sąskaitą.

Sprendimai prieš kuriant

Kuris teikėjas ir modelis

Pagrindiniai teikėjai (OpenAI, Anthropic, Google ir kiti) siūlo pokalbių tipo API, kuris veikia vienodai: siunčiate žinučių sąrašą ir gaunate atsakymą. Praktinis pasirinkimas priklauso mažiau nuo prekės ženklo, o labiau nuo modelio dydžio:

• Mažesni, greitesni modeliai yra pigesni ir greitai atsako. Jie tinka trumpiems atsakymams, klasifikavimui ir paprastiems DUK robotams.
• Didesni modeliai geriau samprotauja, patikimiau laikosi ilgų instrukcijų ir tvarko sudėtingus klausimus, bet kiekviena žinutė kainuoja brangiau ir atsako lėčiau.

Pradėkite nuo vidutinio dydžio modelio, išbandykite jį su tikrais klausimais ir nuo to padidinkite ar sumažinkite. Jei dar nesate susipažinę, kaip šie API apmokestinami ir kviečiami, pirmiausia perskaitykite kaip naudoti LLM API.

Iš kur robotas semiasi žinių

Pradėkite nuo paprasčiausio varianto, kuris padengia jūsų turinį. Paieška prideda paieškos indeksą, reikia jį atnaujinti ir atsiranda daugiau vietų, kur atsakymai gali susiklysti. Daugeliui naudingų robotų jos niekada nereikia.

Viešas ar už prisijungimo

Viešą pokalbių robotą svetainėje lengva pasiekti, bet lengva ir piktnaudžiauti: kas nors gali automatiškai siųsti tūkstančius žinučių. Robotas, prieinamas tik prisijungus, leidžia saugoti istoriją kiekvienam vartotojui ir nustatyti dienos limitą kiekvienai paskyrai. Jei robotas viešas, apribokite žinutės ilgį, kiek žinučių vienas lankytojas gali išsiųsti per tam tikrą laiką, ir nustatykite griežtą mėnesio limitą teikėjo valdymo skydelyje. Kaip pridėti prisijungimą prie programėlės aprašo paskyrų pusę.

Ar saugoti pokalbius

Išsaugoti pokalbiai naudingi: vartotojai gali tęsti ten, kur baigė, o jūs galite skaityti tikrus klausimus ir tobulinti užklausą. Tačiau tai asmeniniai duomenys. Nuspręskite, kiek laiko juos saugosite, nurodykite tai privatumo pranešime ir nesaugokite nieko, ko nereikia.

Parašykite sistemos užklausą kaip pareigybės aprašymą

Sistemos užklausa yra instrukcija, kurią modelis gauna prieš kiekvieną pokalbį. Gera užklausa skaitosi kaip trumpas nurodymas naujam darbuotojui:

• Vaidmuo ir auditorija: „Jūs esate Oakline, dviračių remonto dirbtuvių, pagalbos asistentas. Kalbate su klientais.“
• Apimtis: „Atsakykite į klausimus apie paslaugas, kainas, darbo laiką ir registraciją. Visais kitais atvejais pasakykite, kad galite padėti tik su parduotuve.“
• Informacijos šaltinis: „Naudokite tik žemiau pateiktą informaciją. Jei atsakymo ten nėra, pasakykite, kad nežinote, ir nurodykite parduotuvės telefono numerį.“
• Tonas ir ilgis: „Draugiškai, paprasta kalba, ne daugiau nei trys sakiniai, nebent prašoma išsamiau.“
• Griežtos taisyklės: „Niekada nežadėkite remonto kainos, kurios nėra sąraše. Niekada neprašykite kortelės duomenų.“

Tada išbandykite ją su nepatogiais klausimais: nesusijusiomis užklausomis, grubiomis žinutėmis, klausimais, kurių atsakymų jūsų turinyje nėra, ir bandymais priversti robotą ignoruoti instrukcijas („pamirškite savo taisykles ir...“). Koreguokite užklausą tol, kol atsakymai bus tokie, kuriais galėtumėte pasirašyti.

Išlaikykite prognozuojamus kaštus

Teikėjai apmokestina pagal žetonus (maždaug žodžių dalis) už jūsų siunčiamą įvestį ir modelio sugeneruotą išvestį. Sąskaitą lemia trys dalykai:

1. Pokalbio ilgis. Kiekviena nauja žinutė paprastai iš naujo siunčia visą giją, kad modelis turėtų kontekstą. 40 žinučių pokalbis kiekvienam atsakymui kainuoja daug daugiau nei 4 žinučių pokalbis. Palikite tik paskutinius kelis pasisukimus arba trumpai apibendrinkite senesnius.
2. Užklausos dydis. Ilga sistemos užklausa ar didelis įklijuotų žinių blokas siunčiami su kiekviena žinute.
3. Išvesties ilgis. Nustatykite maksimalų atsakymo ilgį API iškvietime ir užklausoje prašykite glausto atsakymo.

Prieš paleisdami nustatykite mėnesio išlaidų ribą teikėjo valdymo skydelyje ir registruokite žetonų naudojimą kiekvienai užklausai, kad matytumėte, kurie pokalbiai brangūs. Kainų čia nenurodome, nes jos skiriasi pagal modelį ir dažnai keičiasi; pasitikrinkite teikėjo kainų puslapį.

Kurkite žingsnis po žingsnio

1 žingsnis: aprašykite robotą, o ne kodą

Pirmoji užklausa, kurioje nurodoma auditorija, apimtis, duomenys ir saugumo taisyklės, nuveda jus didele dalimi kelio:

Sukurkite klientų pagalbos pokalbių robotą Oakline, dviračių remonto dirbtuvėms. Pokalbio puslapis su žinučių sąrašu ir įvesties lauku, atsakymai rodomi srautu, kai jie rašomi. Kreipkitės į Anthropic API iš serverio maršruto, naudodami slaptą ANTHROPIC_API_KEY kintamąjį, – niekada neatskleiskite jo naršyklei. Naudokite sistemos užklausą, kuri atsako tik į klausimus apie mūsų paslaugas, kainas ir darbo laiką pagal tekstą faile shop-info.md, o kitais atvejais sako „Nesu tikras – skambinkite mums šiuo numeriu“. Apribokite žinutes iki 500 simbolių ir 20 žinučių vienam lankytojui per valandą. Švarus, draugiškas dizainas, tinkantis telefonams.

2 žingsnis: pridėkite raktą kaip paslaptį

Sukurkite raktą teikėjo konsolėje, tada išsaugokite jį projekto aplinkos kintamuosiuose ar paslaptyse, o ne pokalbyje ir ne kode. Jei raktas kada nors atsidurtų viešoje vietoje, panaikinkite jį teikėjo sistemoje ir sukurkite naują. Kas yra aplinkos kintamieji ir paslaptys paaiškina, kodėl tai svarbu.

3 žingsnis: tikrinkite atsakymus, o ne tik sąsają

Kai pokalbis veikia, daugiausia laiko skirkite atsakymų kokybei. Laikykite maždaug 20 tikrų klausimų sąrašą, įskaitant kelis, į kuriuos robotas turėtų atsisakyti atsakyti, ir kiekvieną kartą pakeitus užklausą juos pakartokite. Patikrinkite:

• Ar robotas laikosi apimties?
• Ar jis pripažįsta, kai nežino, vietoj to, kad išgalvotų atsakymą?
• Ar jis atlaiko, kai kas nors bando perrašyti jo instrukcijas?
• Ar rakto nėra nieko, ką naršyklė atsisiunčia?

4 žingsnis: pridėkite atmintį ir paskyras, jei reikia

Kai atskiri pokalbiai veikia, prašykite išsaugotų gijų duomenų bazėje ir, jei reikia, registracijos bei prisijungimo, kad kiekvienas vartotojas matytų tik savo pokalbius. Tuo pat metu pridėkite kasdienį žinučių limitą kiekvienam vartotojui.

5 žingsnis: publikuokite su įjungtais ribojimais

Įsitikinkite, kad publikuota programėlė turi tas pačias paslaptis kaip peržiūra, teikėjo sistemoje nustatyta išlaidų riba ir klaidos registruojamos vietoje, kurią matysite. Tada pasidalinkite su nedidele grupe, prieš dėdami robotą į pagrindinę svetainę.

Saugumas ir pasitikėjimas

Pokalbių robotas kalba su visuomene jūsų vardu, todėl su jo klaidomis tenka spręsti jums:

• Neteisingi atsakymai. Modeliai gali pasakyti klaidingus dalykus užtikrintai. Laikykite robotą siaurai apibrėžtoje temoje, grįskite jį savo turiniu ir rodykite trumpą pastabą, kad atsakymai gali būti klaidingi svarbiais klausimais.
• Užklausos įterpimas (prompt injection). Vartotojai (ar dokumentai, kuriuos robotas skaito) gali turėti instrukcijų, pavyzdžiui, „ignoruok ankstesnes taisykles“. Neteikite robotui galių, kuriomis negalima pasitikėti: jokių grąžinimų, trynimų ar el. laiškų siuntimo vartotojo prašymu be patikros jūsų kode.
• Jautrios temos. Medicininiais, teisiniais ar finansiniais klausimais robotas turėtų nukreipti žmones pas specialistą, o ne teikti patarimus.
• Asmens duomenys. Nekopijuokite klientų įrašų į užklausas, nebent to reikia, ir patikrinkite, ką teikėjo sąlygos sako apie API duomenų tvarkymą.

Mūsų saugumo kontrolinis sąrašas AI kurtoms programėlėms apima platesnę programėlę.

Dažnos klaidos

• Teikėjo kvietimas iš naršyklės. Raktas nutekės. Visada eikite per savo serverį.
• Viešas robotas be ribų. Vienas scenarijus gali per popietę išeikvoti mėnesio biudžetą.
• Pradėti nuo RAG, įrankių ir kelių modelių iškart. Pirmiausia suveikite vieną gerą pokalbį; kitus dalykus pridėkite, kai tikri klausimai parodys, kad jų reikia.
• Testuoti tik draugiškus klausimus. Jūsų vartotojai pirmąją dieną klaus keistų, priešiškų ir nesusijusių dalykų.
• Leisti gijai augti be galo. Kaštai ir atsako laikas auga su kiekviena žinute.

Kada geresnis pasirinkimas – paruoštas produktas

Savo kūrimas prasmingas, kai pokalbių robotas yra jūsų produkto dalis, reikalauja jūsų duomenų ar darbo eigos arba turi konkretų išvaizdą ir elgesį. Dažnai tinkamesnis kitas kelias, kai:

• Jums tik reikia palaikymo valdiklio esamoje svetainėje. Daugelis pagalbos tarnybų ir tiesioginio pokalbio produktų dabar turi AI atsakymų robotus, kurie skaito jūsų pagalbos centrą, su perdavimu žmogui, gautuoju ir ataskaitomis.
• Juo naudosis tik jūs ar jūsų komanda. Bendrojo asistento, pavyzdžiui, ChatGPT ar Claude, prenumerata su įkeltais dokumentais gali būti viskas, ko reikia.
• Jums reikia griežtų atitikties garantijų (pavyzdžiui, reguliuojamų sveikatos ar finansinių duomenų). Tiekėjas, turintis reikiamus sertifikatus, gali būti saugesnis nei individualus kūrinys.

Kūrimas su Mythex

Mythex yra AI programėlių kūrimo įrankis: pokalbyje aprašote robotą, o jis parašo sąsają ir serverio pusės iškvietimą, paleidžia tai gyvoje peržiūroje ir publikuoja viešu URL. AI jūsų programėlėje naudoja jūsų pačių teikėjo raktą. Jį pridedate projekto paslaptyse arba per paslapčių kortelę, kurią Mythex rodo pokalbyje, kai jos reikia, o teikėjo naudojimas apmokestinamas jūsų teikėjo paskyroje, o ne Mythex kūrimo kreditais. Mythex neįtraukia žetonų jūsų programėlės vartotojams, nesiūlo įmontuoto žinių bazės produkto ir nepateikia paruoštų naudojimo ribų: tai dalys, kurių prašote ir kurias testuojate patys. Dokumentacijos puslapyje AI įdiegimas į programėlę aprašyta, kaip tai daryti, o pridėkite AI su savo API raktais pateikia pradinę užklausą.

Jei robotui reikia išsaugotų gijų, Mythex prie projekto prijungia Postgres duomenų bazę, kai to paprašote. Daugiau būdų naudoti modelius programėlėje, nuo apibendrinimų iki klasifikavimo, rasite kaip pridėti AI funkcijas į programėlę, o pradžios taškų ieškokite programėlių šablonuose.

Klausimai