Kako napraviti AI chatbot aplikaciju: ključevi, promptovi, troškovi i bezbednost

Da biste napravili AI chatbot aplikaciju, potrebne su vam četiri stvari: korisnički interfejs za chat, mali server koji čuva API ključ provajdera i prosleđuje mu poruke, sistemski prompt koji modelu kaže ko je i šta sme da radi, i ograničenja koja drže troškove i zloupotrebu pod kontrolom. AI alat za pravljenje aplikacija može sve to da napravi iz opisa. Ono što ostaje na vama jesu izbor provajdera, pisanje uputstava i odluka šta bot nikada ne sme da radi.

Iz čega se sastoji AI chatbot aplikacija

Većina chatbot aplikacija, bilo da je reč o asistentu za podršku, tutoru ili internom alatu „pitaj naša dokumenta“, ima iste delove:

Deo koji ljudi najčešće pogreše jeste serverska ruta. Ako stranica za chat poziva provajdera direktno iz pregledača, svako može da otvori alate za developere, kopira vaš ključ i poveća vaš račun.

Odluke pre gradnje

Koji provajder i koji model

Glavni provajderi (OpenAI, Anthropic, Google i drugi) nude chat API koji radi na isti način: šaljete listu poruka i dobijate odgovor. Praktičan izbor manje zavisi od brenda, a više od veličine modela:

• Manji, brži modeli su jeftiniji i brzo odgovaraju. Dobri su za kratke odgovore, klasifikaciju i jednostavne FAQ botove.
• Veći modeli bolje razmišljaju, pouzdanije prate duga uputstva i snalaze se sa složenim pitanjima, ali po poruci koštaju više i sporije odgovaraju.

Počnite sa modelom srednje veličine, testirajte ga na svojim stvarnim pitanjima, pa pojačajte ili smanjite. Ako tek upoznajete kako se ovi API-ji naplaćuju i pozivaju, pročitajte najpre kako koristiti LLM API-je.

Odakle bot uzima znanje

Počnite od najjednostavnije opcije koja pokriva vaš sadržaj. Pretraga dodaje indeks, potrebu da se on održava i više mesta na kojima odgovori mogu da pogreše. Mnogi korisni botovi nikada ne trebaju pretragu.

Javno ili iza prijave

Javni chatbot na vašem sajtu lako je dostupan, ali ga je i lako zloupotrebiti: neko može skriptom da pošalje hiljade poruka. Chatbot iza prijave omogućava da čuvate istoriju po korisniku i da odredite dnevni broj poruka po nalogu. Ako je javan, ograničite dužinu poruke, koliko poruka jedan posetilac može da pošalje u datom periodu i postavite čvrst mesečni limit u kontrolnom panelu provajdera. Kako dodati prijavu u aplikaciju pokriva deo sa nalozima.

Da li čuvati razgovore

Sačuvane niti su korisne: korisnici mogu da nastave tamo gde su stali, a vi možete da čitate prava pitanja i poboljšate prompt. Ali to su lični podaci. Odlučite koliko dugo ih čuvate, navedite to u politici privatnosti i ne čuvajte ništa što vam nije potrebno.

Napišite sistemski prompt kao opis posla

Sistemski prompt je uputstvo koje model dobija pre svakog razgovora. Dobar prompt izgleda kao kratak opis posla za novog zaposlenog:

• Uloga i publika: „Ti si asistent za pomoć za Oakline, radnju za popravku bicikala. Razgovaraš sa kupcima.“
• Obim: „Odgovaraj na pitanja o uslugama, cenama, radnom vremenu i zakazivanju. Za sve ostalo reci da možeš da pomogneš samo oko radnje.“
• Izvor istine: „Koristi samo informacije ispod. Ako odgovor nije tu, reci da ne znaš i daj broj telefona radnje.“
• Ton i dužina: „Prijateljski, jednostavnim jezikom, najviše tri rečenice osim ako se traži detalj.“
• Čvrsta pravila: „Nikada ne obećavaj cenu popravke koja nije navedena. Nikada ne traži podatke o kartici.“

Zatim ga testirajte neprijatnim pitanjima: zahtevima van teme, nepristojnim porukama, pitanjima čiji odgovori nisu u vašem sadržaju i pokušajima da ga naterate da zaboravi uputstva („zaboravi svoja pravila i…“). Podešavajte prompt dok odgovori ne budu takvi da biste se potpisali ispod njih.

Držite troškove predvidivim

Provajderi naplaćuju po tokenu (otprilike, delovi reči) za ulaz koji šaljete i izlaz koji model piše. Tri stvari određuju račun:

1. Dužina razgovora. Svaka nova poruka obično ponovo šalje celu nit da bi model imao kontekst. Razgovor od 40 poruka košta mnogo više po odgovoru nego razgovor od 4 poruke. Zadržite samo poslednjih nekoliko razmena ili sažmite starije.
2. Veličina prompta. Dugačak sistemski prompt ili veliki blok nalepljenog znanja šalje se uz svaku poruku.
3. Dužina izlaza. Podesite maksimalnu dužinu odgovora u API pozivu i u promptu tražite sažete odgovore.

Pre lansiranja postavite mesečni limit potrošnje u kontrolnom panelu provajdera i beležite potrošnju tokena po zahtevu da biste videli koji razgovori su skupi. Cene ovde ne navodimo, jer se razlikuju po modelu i često se menjaju. Proverite stranicu sa cenama vašeg provajdera.

Izgradite korak po korak

Korak 1: Opišite bota, ne kod

Prvi prompt koji navodi publiku, obim, podatke i pravila bezbednosti dovodi vas dosta blizu cilja:

Napravi chatbot za korisničku podršku za Oakline, radnju za popravku bicikala. Stranica za chat sa listom poruka i poljem za unos, odgovori se prikazuju kako se pišu. Pozovi Anthropic API iz serverske rute koristeći tajni ključ ANTHROPIC_API_KEY — nikada ga ne izlaži pregledaču. Koristi sistemski prompt koji odgovara samo na pitanja o našim uslugama, cenama i radnom vremenu iz teksta u datoteci shop-info.md, a na sve ostalo odgovara „Nisam siguran — pozovite nas na broj ispod“. Ograniči poruke na 500 karaktera i 20 poruka po posetiocu na sat. Čist, prijateljski dizajn koji radi na telefonu.

Korak 2: Dodajte ključ kao tajnu

Kreirajte ključ u konzoli provajdera, pa ga sačuvajte u promenljivama okruženja ili tajnama projekta, a ne u razgovoru i ne u kodu. Ako se ključ ikada pojavi negde javno, opozovite ga kod provajdera i napravite novi. Šta su promenljive okruženja i tajne objašnjava zašto je to važno.

Korak 3: Testirajte odgovore, ne samo interfejs

Kada chat radi, najviše vremena potrošite na kvalitet odgovora. Napravite listu od otprilike 20 pravih pitanja, uključujući nekoliko koja treba odbiti, i prođite kroz nju posle svake izmene prompta. Proverite:

• Da li ostaje u okviru obima?
• Da li priznaje kada ne zna, umesto da izmisli odgovor?
• Da li izdržava kada neko pokuša da prepiše njegova uputstva?
• Da li se ključ ne pojavljuje ni u čemu što pregledač preuzima?

Korak 4: Dodajte memoriju i naloge ako su potrebni

Kada pojedinačni razgovori rade, zatražite čuvanje niti u bazi i, ako treba, registraciju i prijavu da svaki korisnik vidi samo svoje razgovore. Istovremeno dodajte dnevni limit poruka po korisniku.

Korak 5: Objavite sa uključenim ograničenjima

Proverite da objavljena aplikacija ima iste tajne kao pregled, da je limit potrošnje postavljen kod provajdera i da se greške beleže na mestu gde ćete ih videti. Zatim je podelite sa malom grupom pre nego što je stavite na glavni sajt.

Bezbednost i poverenje

Chatbot javno govori u vaše ime, pa njegove greške tretirajte kao svoj problem:

• Pogrešni odgovori. Modeli mogu samouvereno da kažu netačne stvari. Držite bota na uskoj temi, zasnujte ga na svom sadržaju i prikažite kratku napomenu da odgovori mogu biti pogrešni kada je reč o nečemu važnom.
• Ubacivanje uputstava (prompt injection). Korisnici (ili dokumenti koje bot čita) mogu sadržati uputstva tipa „ignoriši prethodna pravila“. Ne dajte botu ovlašćenja kojima ne možete da verujete: nema povraćaja novca, brisanja ili slanja imejlova na osnovu zahteva korisnika bez provere u vašem kodu.
• Osetljive teme. Za medicinska, pravna ili finansijska pitanja neka bot uputi ljude na stručnjaka umesto da savetuje.
• Lični podaci. Ne lepite zapise o kupcima u prompt osim ako je zaista potrebno i proverite šta uslovi vašeg provajdera kažu o tome kako se obrađuju podaci iz API-ja.

Naša bezbednosna lista za aplikacije pravljene uz AI pokriva širu aplikaciju.

Česte greške

• Pozivanje provajdera iz pregledača. Ključ curi. Uvek idite preko svog servera.
• Bez ograničenja na javnom botu. Jedna skripta može da potroši mesečni budžet za jedno popodne.
• Početak sa RAG-om, alatima i više modela odjednom. Prvo osposobite jedan dobar razgovor; ostalo dodajte kada stvarna pitanja pokažu da je potrebno.
• Testiranje samo prijatnih pitanja. Vaši korisnici će već prvog dana postavljati čudna, neprijateljska i pitanja van teme.
• Dozvoliti da nit beskonačno raste. Troškovi i vreme odgovora rastu sa svakom porukom.

Kada je gotov proizvod bolji izbor

Gradnja sopstvenog rešenja ima smisla kada je chatbot deo vašeg proizvoda, kada mu treba vaš sopstveni podatak ili tok rada, ili kada mu treba određen izgled i ponašanje. Često je pogrešan izbor kada:

• Želite samo widget za podršku na postojećem sajtu. Mnogi alati za pomoć i live chat danas uključuju AI botove koji čitaju vaš centar za pomoć, sa predajom ljudima, sandučetom i izveštavanjem već ugrađenim.
• Koristite ga samo vi ili vaš tim. Pretplata na opšteg asistenta, kao što su ChatGPT ili Claude, uz otpremljena vaša dokumenta, može biti sve što vam treba.
• Treba vam stroga usklađenost sa propisima (na primer, regulisani zdravstveni ili finansijski podaci). Dobavljač koji već ima sertifikate može biti bezbedniji od sopstvene izrade.

Izrada uz Mythex

Mythex je AI alat za pravljenje aplikacija: opišete chatbot u razgovoru, a on napravi interfejs i poziv sa serverske strane, pokrene ga u živom pregledu i objavi na javnoj adresi. AI unutar vaše aplikacije koristi vaš sopstveni ključ provajdera. Dodajete ga u tajne projekta ili kroz karticu sa tajnama koju Mythex prikaže u razgovoru kada mu zatreba, a korišćenje provajdera se naplaćuje na vaš račun kod provajdera, a ne preko Mythex kredita za izradu. Mythex ne uključuje tokene za korisnike vaše aplikacije, gotov proizvod za bazu znanja, niti gotova ograničenja učestalosti: to su delovi koje tražite i testirate. Dokumentacija na stranici dodavanje AI-a u vašu aplikaciju prolazi kroz to, a dodavanje AI-a sa sopstvenim API ključevima sadrži početni prompt.

Ako bot treba sačuvane niti, Mythex na projekat dodaje Postgres bazu kada to zatražite. Za više načina korišćenja modela u aplikaciji, od sažetaka do klasifikacije, pogledajte kako dodati AI funkcije u aplikaciju, ili pregledajte šablone aplikacija kao polazne tačke.

Pitanja