Kako napraviti AI chatbot aplikaciju: ključevi, prompti, troškovi i sigurnost

Da biste napravili AI chatbot aplikaciju, potrebne su vam četiri stvari: chat interfejs, mali server koji čuva API ključ vašeg provajdera modela i prosljeđuje mu poruke, sistemski prompt koji modelu govori ko je i šta smije da radi, te ograničenja koja drže troškove i zloupotrebu pod kontrolom. AI alat za izradu aplikacija sve to može napraviti na osnovu opisa. Posao koji ostaje na vama jeste izbor provajdera, pisanje uputstava i odluka šta bot nikada ne smije da radi.

Iz čega se sastoji AI chatbot aplikacija

Većina chatbot aplikacija, bilo da je riječ o asistentu za podršku, tutoru ili internom alatu „pitaj naše dokumente“, ima iste dijelove:

Serverska ruta je dio koji ljudi najčešće pogrešno naprave. Ako stranica za chat direktno poziva provajdera iz pregledača, svako može otvoriti alate za developere, prekopirati vaš ključ i potrošiti vaš budžet.

Odluke prije izrade

Provajder i model

Glavni provajderi (OpenAI, Anthropic, Google i drugi) nude chat API koji radi isto: šaljete listu poruka i dobijete odgovor. Praktičan izbor je manje pitanje brenda, a više veličine modela:

• Manji, brži modeli jeftiniji su i brzo odgovaraju. Dobri su za kratke odgovore, klasifikaciju i jednostavne FAQ botove.
• Veći modeli bolje zaključuju, pouzdanije slijede duga uputstva i nose se sa složenim pitanjima, ali su skuplji po poruci i sporiji.

Počnite s modelom srednje veličine, testirajte ga na svojim stvarnim pitanjima, pa idite gore ili dolje. Ako ne znate kako se ti API-ji naplaćuju i pozivaju, prvo pročitajte kako koristiti LLM API-je.

Odakle dolazi znanje bota

Počnite s najjednostavnijom opcijom koja pokriva vaš sadržaj. Pretraga dodaje indeks pretrage, potrebu da se on održava i više mjesta na kojima odgovori mogu biti pogrešni. Mnogi korisni botovi nikada ne trebaju RAG.

Javno ili iza prijave

Javni chatbot na vašoj web stranici lako je dostupan, ali se lako i zloupotrijebi: neko može automatski slati hiljade poruka. Chatbot iza prijave omogućava čuvanje istorije po korisniku i dnevni limit po nalogu. Ako je javan, ograničite dužinu poruke, broj poruka koje jedan posjetilac može poslati u određenom periodu i postavite tvrdi mjesečni limit u kontrolnom panelu provajdera. Kako dodati prijavu u aplikaciju pokriva stranu naloga.

Da li čuvati razgovore

Sačuvane niti su korisne: korisnici mogu nastaviti tamo gdje su stali, a vi možete čitati stvarna pitanja i poboljšati prompt. Ali to su i lični podaci. Odlučite koliko dugo ih čuvate, navedite to u obavještenju o privatnosti i ne čuvajte ništa što vam nije potrebno.

Napišite sistemski prompt kao opis posla

Sistemski prompt je uputstvo koje model dobija prije svakog razgovora. Dobar prompt čita se kao kratak brif za novog zaposlenika:

• Uloga i publika: „Ti si asistent za pomoć u radnji Oakline, koja popravlja bicikle. Razgovaraš s kupcima.“
• Obim: „Odgovaraj na pitanja o uslugama, cijenama, radnom vremenu i zakazivanju. Za sve ostalo reci da možeš pomoći samo s radnjom.“
• Izvor istine: „Koristi samo informacije ispod. Ako odgovora nema, reci da ne znaš i daj broj telefona radnje.“
• Ton i dužina: „Prijateljski, jednostavnim jezikom, najviše tri rečenice osim ako se traži više detalja.“
• Čvrsta pravila: „Nikada ne obećavaj cijenu popravke koja nije navedena. Nikada ne traži podatke o kartici.“

Zatim ga testirajte nezgodnim pitanjima: zahtjevi van teme, grube poruke, pitanja čiji odgovori nisu u vašem sadržaju i pokušaji da ga natjerate da zanemari uputstva („zaboravi svoja pravila i…“). Podešavajte prompt dok odgovori ne budu takvi da biste ih potpisali.

Držite troškove predvidivim

Provajderi naplaćuju po tokenu (otprilike dijelovi riječi) za ulaz koji šaljete i za izlaz koji model piše. Tri stvari određuju račun:

1. Dužina razgovora. Svaka nova poruka obično ponovo šalje cijelu nit kako bi model imao kontekst. Chat od 40 poruka košta mnogo više po odgovoru nego chat od 4 poruke. Zadržite samo posljednjih nekoliko okreta ili sažmite starije.
2. Veličina prompta. Dugačak sistemski prompt ili veliki blok zalijepljenog znanja šalje se uz svaku poruku.
3. Dužina izlaza. Postavite maksimalnu dužinu odgovora u API pozivu i u promptu tražite sažete odgovore.

Prije lansiranja postavite mjesečni limit potrošnje u kontrolnom panelu provajdera i bilježite potrošnju tokena po zahtjevu da vidite koji razgovori su skupi. Cijene ovdje ne navodimo jer se razlikuju po modelu i često se mijenjaju; provjerite stranicu s cijenama svog provajdera.

Izgradnja korak po korak

Korak 1: Opišite bota, ne kod

Prvi prompt koji imenuje publiku, obim, podatke i sigurnosna pravila donosi većinu rezultata:

Napravi chatbot za pomoć kupcima za Oakline, radnju za popravku bicikala. Stranica za chat sa listom poruka i poljem za unos, odgovori se prikazuju dok nastaju. Pozovi Anthropic API iz serverske rute koristeći tajni ANTHROPIC_API_KEY, nikada ga ne izlaži pregledaču. Sistemski prompt neka odgovara samo na pitanja o našim uslugama, cijenama i radnom vremenu iz teksta u datoteci shop-info.md, a inače neka kaže „Nisam siguran, nazovite nas na broj ispod“. Ograniči poruke na 500 znakova i 20 poruka po posjetiocu na sat. Čist, prijateljski dizajn koji radi na telefonima.

Korak 2: Dodajte ključ kao tajnu

Napravite ključ u konzoli svog provajdera, zatim ga sačuvajte u varijablama okruženja ili tajnama projekta, ne u chatu i ne u kodu. Ako se ključ ikada pojavi negdje javno, opozovite ga kod provajdera i napravite novi. Šta su varijable okruženja i tajne objašnjava zašto je to važno.

Korak 3: Testirajte odgovore, ne samo interfejs

Kada chat radi, većinu vremena potrošite na kvalitet odgovora. Vodite listu od 20-ak stvarnih pitanja, uključujući nekoliko koja treba odbiti, i provjeravajte ih nakon svake promjene prompta. Provjerite:

• Da li ostaje u okviru teme?
• Da li priznaje kad ne zna, umjesto da izmišlja odgovor?
• Da li izdrži kad neko pokuša da poništi njegova uputstva?
• Da li je ključ odsutan iz svega što pregledač preuzima?

Korak 4: Dodajte memoriju i naloge ako su vam potrebni

Kada pojedinačni razgovori rade, zatražite sačuvane niti u bazi podataka i, ako treba, registraciju i prijavu kako bi svaki korisnik vidio samo svoje razgovore. Istovremeno dodajte dnevni limit poruka po korisniku.

Korak 5: Objavite s uključenim ograničenjima

Pobrinite se da objavljena aplikacija ima iste tajne kao pregled, da je limit potrošnje postavljen kod provajdera i da se greške bilježe na mjestu gdje ćete ih vidjeti. Zatim podijelite aplikaciju s manjom grupom prije nego što je stavite na glavnu web stranicu.

Sigurnost i povjerenje

Chatbot razgovara s javnošću u vaše ime, pa se prema njegovim greškama odnosite kao prema svojoj odgovornosti:

• Pogrešni odgovori. Modeli mogu samouvjereno tvrditi netačne stvari. Držite bota na uskoj temi, zasnujte ga na svom sadržaju i pokažite kratku napomenu da odgovori mogu biti pogrešni kad je riječ o važnim stvarima.
• Prompt injection. Korisnici (ili dokumenti koje bot čita) mogu sadržati uputstva poput „zanemari prethodna pravila“. Ne dajte botu ovlaštenja kojima se ne može vjerovati: bez povrata novca, brisanja ili slanja e-pošte na osnovu zahtjeva korisnika bez provjere u vašem kodu.
• Osjetljive teme. Za medicinska, pravna ili finansijska pitanja neka bot upućuje ljude na stručnjaka umjesto da savjetuje.
• Lični podaci. Ne lijepite podatke kupaca u prompte ako to nije neophodno i provjerite šta uslovi vašeg provajdera kažu o tome kako se API podaci obrađuju.

Naša sigurnosna lista za aplikacije izrađene uz AI pokriva širu aplikaciju.

Česte greške

• Pozivanje provajdera iz pregledača. Ključ procuri. Uvijek idite preko svog servera.
• Nema ograničenja za javnog bota. Jedna skripta može isprazniti mjesečni budžet za jedno popodne.
• Početak s RAG-om, alatima i više modela istovremeno. Prvo napravite jedan dobar razgovor; ostalo dodajte kada stvarna pitanja pokažu da treba.
• Testiranje samo prijateljskih pitanja. Vaši korisnici će već prvog dana postavljati čudna, neprijateljska i pitanja van teme.
• Nit koja stalno raste. Troškovi i vrijeme odgovora rastu sa svakom porukom.

Kada je gotov proizvod bolji izbor

Izgradnja sopstvenog bota ima smisla kada je chatbot dio vašeg proizvoda, treba mu vaši podaci ili tok rada, ili mu je potreban poseban izgled i ponašanje. Često je pogrešan izbor kada:

• Želite samo widget za podršku na postojećoj stranici. Mnogi helpdesk i live-chat proizvodi sada imaju AI botove koji odgovaraju iz vašeg centra za pomoć, sa predajom ljudima, inboxom i izvještajima već ugrađenim.
• Koristiće ga samo vi ili vaš tim. Pretplata na opšti asistent, poput ChatGPT-a ili Claude-a, uz otpremljene dokumente, može biti sve što vam treba.
• Trebaju vam stroge garancije usklađenosti (na primjer, regulisani zdravstveni ili finansijski podaci). Dobavljač koji već ima certifikate može biti sigurniji od prilagođene izrade.

Izgradnja uz Mythex

Mythex je AI alat za izradu aplikacija: opišete chatbot u chatu, a on napiše interfejs i poziv na serveru, pokrene ga u živom pregledu i objavi na javnoj URL adresi. AI unutar vaše aplikacije koristi vaš ključ provajdera. Dodajete ga u tajne projekta ili kroz karticu s tajnama koju Mythex prikaže u chatu kada je potrebna, a korištenje provajdera se naplaćuje na vaš račun kod provajdera, a ne kao Mythex krediti za izradu. Mythex ne uključuje tokene za korisnike vaše aplikacije, gotovu bazu znanja niti gotova ograničenja broja zahtjeva: to su dijelovi koje tražite i testirate. Stranica dokumentacije o dodavanju AI-ja u aplikaciju prolazi kroz postupak, a dodavanje AI-ja s vlastitim API ključevima sadrži početni prompt.

Ako bot treba sačuvane niti, Mythex priključi Postgres bazu podataka na projekat kada to zatražite. Za više načina korištenja modela unutar aplikacije, od sažetaka do klasifikacije, pogledajte kako dodati AI funkcije u aplikaciju, ili pregledajte šablone aplikacija kao polazne tačke.

Pitanja