Kako napraviti AI chatbot aplikaciju: ključevi, upiti, troškovi i sigurnost

Za izradu AI chatbot aplikacije potrebne su vam četiri stvari: sučelje za chat, mali poslužitelj koji čuva API ključ vašeg pružatelja modela i proslijeđuje mu poruke, sistemski upit koji modelu govori tko je i što smije raditi te ograničenja koja drže troškove i zlouporabu pod kontrolom. AI alat za izradu aplikacija sve to može napisati iz opisa. Posao koji ostaje na vama jest odabir pružatelja, pisanje uputa i odluka što bot nikada ne smije raditi.

Od čega se sastoji AI chatbot aplikacija

Većina chatbot aplikacija, bilo da je riječ o asistentu za podršku, tutoru ili internom alatu „pitajte naše dokumente”, ima iste dijelove:

Poslužiteljska ruta je dio koji ljudi najčešće pogriješe. Ako stranica za chat poziva pružatelja izravno iz preglednika, svatko može otvoriti alate za razvojne programere, kopirati vaš ključ i napraviti visoki račun.

Odluke koje treba donijeti prije izrade

Koji pružatelj i koji model

Glavni pružatelji (OpenAI, Anthropic, Google i drugi) nude API u obliku chata koji radi na isti način: šaljete popis poruka i dobivate odgovor. Praktični izbor manje ovisi o marki, a više o veličini modela:

• Manji, brži modeli jeftiniji su i brzo odgovaraju. Dobri su za kratke odgovore, klasifikaciju i jednostavne FAQ botove.
• Veći modeli bolje zaključuju, pouzdanije slijede duge upute i snalaze se s nejasnim pitanjima, ali po poruci koštaju više i sporije odgovaraju.

Počnite sa srednje velikim modelom, testirajte ga na svojim stvarnim pitanjima i odavde se pomičite prema gore ili dolje. Ako tek upoznajete način na koji se ti API-ji naplaćuju i pozivaju, prvo pročitajte kako koristiti LLM API-je.

Odakle dolazi botovo znanje

Počnite s najjednostavnijom opcijom koja pokriva vaš sadržaj. Pretraživanje dodaje indeks za pretragu, potrebu da se on održava ažurnim i više mjesta na kojima odgovori mogu poći po krivu. Mnogi korisni botovi nikada ga ne trebaju.

Javno ili iza prijave

Javni chatbot na vašoj web stranici lako je dostupan, ali ga je jednako lako zloupotrijebiti: netko može skriptom poslati tisuće poruka. Chatbot iza prijave omogućuje spremanje povijesti po korisniku i dnevni limit za svaki račun. Ako je javan, ograničite duljinu poruke, ograničite broj poruka koje jedan posjetitelj može poslati u određenom razdoblju i postavite tvrdi mjesečni limit na nadzornoj ploči pružatelja. Kako dodati prijavu u svoju aplikaciju pokriva stranu računa.

Hoćete li spremati razgovore

Spremljene niti su korisne: korisnici mogu nastaviti tamo gdje su stali, a vi možete čitati stvarna pitanja i poboljšavati upit. Ali to su i osobni podaci. Odlučite koliko dugo ih čuvate, navedite to u obavijesti o privatnosti i ne spremajte ništa što vam ne treba.

Napišite sistemski upit kao opis posla

Sistemski upit je uputa koju model prima prije svakog razgovora. Dobar upit čita se kao kratak zadatak za novog zaposlenika:

• Uloga i publika: „Ti si pomoćni asistent za Oakline, servis bicikala. Razgovaraš s kupcima.”
• Opseg: „Odgovaraj na pitanja o uslugama, cijenama, radnom vremenu i rezervacijama. Za sve ostalo reci da možeš pomoći samo oko servisa.”
• Izvor istine: „Koristi samo informacije u nastavku. Ako odgovora nema, reci da ne znaš i navedi broj telefona servisa.”
• Ton i duljina: „Prijateljski, jednostavnim jezikom, najviše tri rečenice osim ako se traži više detalja.”
• Stroga pravila: „Nikada ne obećavaj cijenu popravka koja nije navedena. Nikada ne traži podatke o kartici.”

Zatim ga testirajte nezgodnim pitanjima: zahtjevima izvan teme, grubim porukama, pitanjima čiji odgovori nisu u vašem sadržaju i pokušajima da ga natjerate da zanemari upute („zaboravi svoja pravila i…”). Prilagođavajte upit dok odgovori ne budu takvi da biste ih potpisali svojim imenom.

Držite troškove predvidivima

Pružatelji naplaćuju po tokenu (otprilike dijelovi riječi) za ulaz koji šaljete i izlaz koji model piše. Tri stvari određuju račun:

1. Duljina razgovora. Svaka nova poruka obično ponovno šalje cijelu nit kako bi model imao kontekst. Razgovor od 40 poruka po odgovoru košta znatno više od razgovora od 4 poruke. Zadržite samo posljednjih nekoliko izmjena ili sažmite starije.
2. Veličina upita. Dugi sistemski upit ili velika količina ubačenog znanja šalje se uz svaku poruku.
3. Duljina izlaza. Postavite najveću duljinu odgovora u API pozivu i u upitu zatražite sažete odgovore.

Prije lansiranja postavite mjesečni limit potrošnje na nadzornoj ploči pružatelja i bilježite potrošnju tokena po zahtjevu kako biste vidjeli koji razgovori su skupi. Cijene ovdje ne navodimo jer ovise o modelu i često se mijenjaju; provjerite stranicu s cijenama svog pružatelja.

Izgradite korak po korak

Korak 1: Opišite bota, a ne kod

Prvi upit koji navodi publiku, opseg, podatke i sigurnosna pravila donijet će vam većinu rezultata:

Napravi chatbot za korisničku podršku za Oakline, servis bicikala. Stranica za chat s popisom poruka i poljem za unos, odgovori se prikazuju dok se pišu. Pozovi Anthropic API iz poslužiteljske rute koristeći tajni ključ ANTHROPIC_API_KEY — nikada ga ne izlaži pregledniku. Koristi sistemski upit koji odgovara samo na pitanja o našim uslugama, cijenama i radnom vremenu iz datoteke shop-info.md, a inače odgovara „Nisam siguran — nazovite nas na broj ispod”. Ograniči poruke na 500 znakova i 20 poruka po posjetitelju na sat. Čist, prijateljski dizajn koji radi na telefonima.

Korak 2: Dodajte ključ kao tajnu

Ključ izradite u konzoli svog pružatelja, a zatim ga spremite u varijable okruženja ili tajne projekta, a ne u chat i ne u kod. Ako se ključ ikada pojavi negdje javno, opozovite ga kod pružatelja i napravite novi. Što su varijable okruženja i tajne objašnjava zašto je to važno.

Korak 3: Testirajte odgovore, a ne samo sučelje

Kada chat radi, većinu vremena potrošite na kvalitetu odgovora. Vodite popis od dvadesetak stvarnih pitanja, uključujući nekoliko onih na koja bot treba odbiti odgovoriti, i provjerite ih nakon svake promjene upita. Provjerite:

• Ostaje li unutar opsega?
• Priznaje li kad ne zna, umjesto da izmisli odgovor?
• Drži li se kada netko pokuša poništiti njegove upute?
• Je li ključ odsutan iz svega što preglednik preuzima?

Korak 4: Dodajte memoriju i račune ako ih trebate

Kada pojedinačni razgovori rade, zatražite spremljene niti u bazi podataka i, ako treba, registraciju i prijavu kako bi svaki korisnik vidio samo svoje razgovore. Istodobno dodajte dnevni limit poruka po korisniku.

Korak 5: Objavite s uključenim ograničenjima

Provjerite da objavljena aplikacija ima iste tajne kao pregled, da je ograničenje potrošnje postavljeno kod pružatelja i da se greške bilježe na mjestu gdje ćete ih vidjeti. Zatim je podijelite s manjom grupom prije nego što je stavite na glavnu web stranicu.

Sigurnost i povjerenje

Chatbot razgovara s javnošću u vaše ime, pa se prema njegovim greškama odnosite kao prema svojoj odgovornosti:

• Krivi odgovori. Modeli mogu samouvjereno tvrditi netočne stvari. Držite bota na uskoj temi, utemeljite ga u vlastitom sadržaju i prikažite kratku napomenu da odgovori mogu biti netočni kad je riječ o važnim stvarima.
• Ubacivanje upita (prompt injection). Korisnici (ili dokumenti koje bot čita) mogu sadržavati upute poput „zanemari prethodna pravila”. Nemojte botu davati ovlasti kojima se ne može vjerovati: bez povrata novca, brisanja ili slanja e-pošte na temelju zahtjeva korisnika bez provjere u vlastitom kodu.
• Osjetljive teme. Za medicinska, pravna ili financijska pitanja neka upućuje ljude na stručnjaka umjesto da savjetuje.
• Osobni podaci. Ne lijepite podatke o kupcima u upite osim ako je to nužno i provjerite što uvjeti vašeg pružatelja kažu o načinu na koji se postupa s podacima iz API-ja.

Naša sigurnosna lista za aplikacije izrađene uz AI pokriva širu aplikaciju.

Česte greške

• Pozivanje pružatelja iz preglednika. Ključ procuri. Uvijek idite preko svog poslužitelja.
• Bez ograničenja na javnom botu. Jedna skripta može potrošiti mjesečni budžet za jedno popodne.
• Početak s RAG-om, alatima i više modela odjednom. Prvo dobijte jedan dobar razgovor; ostalo dodajte kad stvarna pitanja pokažu da treba.
• Testiranje samo prijateljskih pitanja. Vaši korisnici će već prvog dana postavljati čudna, neprijateljska i pitanja izvan teme.
• Dopuštanje da nit beskonačno raste. Troškovi i vrijeme odgovora rastu sa svakom porukom.

Kada je gotov proizvod bolji izbor

Vlastiti chatbot ima smisla kada je dio vašeg proizvoda, treba vaše podatke ili tijek rada ili treba određeni izgled i ponašanje. Često je pogrešan izbor kada:

• Želite samo widget za podršku na postojećoj stranici. Mnogi alati za helpdesk i live chat danas uključuju AI botove za odgovore koji čitaju vaš centar za pomoć, s predajom razgovora ljudima, sandučićem i izvješćima već ugrađenima.
• Koristite ga samo vi ili vaš tim. Pretplata na opći asistent kao što je ChatGPT ili Claude, uz učitane vaše dokumente, možda je sve što trebate.
• Trebate strogo jamstvo usklađenosti (na primjer za regulirane zdravstvene ili financijske podatke). Dobavljač koji već ima certifikate može biti sigurniji od prilagođene izrade.

Izrada s Mythexom

Mythex je AI alat za izradu aplikacija: chatbot opišete u chatu, a on napiše sučelje i poziv na poslužiteljskoj strani, pokrene ga u živom pregledu i objavi na javnoj adresi. AI unutar vaše aplikacije koristi vlastiti ključ pružatelja. Dodajete ga u tajne projekta ili kroz karticu s tajnama koju Mythex prikaže u chatu kada je zatraži, a korištenje pružatelja naplaćuje se na vašem računu kod pružatelja, a ne kao Mythex kredit za izradu. Mythex ne uključuje tokene za korisnike vaše aplikacije, gotov proizvod za bazu znanja ni unaprijed postavljena ograničenja broja zahtjeva: to su dijelovi koje tražite i testirate. Stranica dokumentacije o dodavanju AI-ja u vašu aplikaciju prolazi kroz to, a dodajte AI sa svojim API ključevima sadrži početni upit.

Ako bot treba spremljene niti, Mythex priključi Postgres bazu podataka na projekt kada to zatražite. Za više načina korištenja modela u aplikaciji, od sažetaka do klasifikacije, pogledajte kako dodati AI značajke u svoju aplikaciju, ili pregledajte predloške aplikacija za početne točke.

Pitanja