AI chatbot-alkalmazás készítése: kulcsok, promptok, költségek és biztonság

Egy AI chatbot-alkalmazás építéséhez négy dologra van szükséged: egy csevegőfelületre, egy kis szerverre, amely tárolja a modellszolgáltatód API-kulcsát és továbbítja hozzá az üzeneteket, egy rendszerpromptra, amely megmondja a modellnek, kicsoda és mit tehet, valamint olyan korlátokra, amelyek kordában tartják a költségeket és a visszaéléseket. Egy AI-alkalmazásépítő mindezt meg tudja írni egy leírás alapján. A te feladatod marad a szolgáltató kiválasztása, az utasítások megírása és annak eldöntése, mit nem tehet a bot soha.

Miből áll egy AI chatbot-alkalmazás?

A legtöbb chatbot-alkalmazásnak, legyen szó ügyfélszolgálati asszisztensről, tanulást segítő botról vagy belső „kérdezd a dokumentációt” eszközről, ugyanazok a részei vannak:

A szerveroldali útvonal az, amit a legtöbben elrontanak. Ha a csevegőoldal közvetlenül a böngészőből hívja a szolgáltatót, bárki megnyithatja a fejlesztői eszközöket, kimásolhatja a kulcsodat, és a te számládra futtathat dolgokat.

Döntések építés előtt

Melyik szolgáltató és melyik modell

A fő szolgáltatók (OpenAI, Anthropic, Google és mások) mind kínálnak csevegésre épülő API-t, amely ugyanúgy működik: üzenetlistát küldesz, és választ kapsz. A gyakorlati döntés kevésbé a márkáról szól, inkább a modell méretéről:

• Kisebb, gyorsabb modellek olcsóbbak és gyorsabban válaszolnak. Rövid válaszokhoz, osztályozáshoz és egyszerű GYIK-botokhoz jók.
• Nagyobb modellek jobban érvelnek, megbízhatóbban követik a hosszú utasításokat, és kezelik a zavaros kérdéseket, de üzenetenként többe kerülnek, és lassabban válaszolnak.

Kezdj egy közepes méretű modellel, teszteld a valódi kérdéseiddel, és onnan lépj feljebb vagy lejjebb. Ha még nem ismered, hogyan árazzák és hívják ezeket az API-kat, olvasd el előbb az LLM API-k használatáról szóló útmutatót.

Honnan jön a bot tudása

Kezdd a legegyszerűbb megoldással, amely lefedi a tartalmadat. A visszakeresés egy keresőindexet, a frissen tartásának módját, és több helyet ad, ahol a válaszok elromolhatnak. Sok hasznos bot soha nem igényli.

Nyilvános, vagy bejelentkezés mögött

A weboldaladon lévő nyilvános chatbotot könnyű elérni, de könnyű visszaélni is vele: valaki szkriptekkel ezreket küldhet be. A bejelentkezéshez kötött chatbotnál személyenként menthetsz előzményeket, és fiókonként napi keretet állíthatsz be. Ha nyilvános, korlátozd az üzenetek hosszát, szabd meg, hány üzenetet küldhet egy látogató egy adott időszakban, és állíts be kemény havi limitet a szolgáltató irányítópultján. A bejelentkezés hozzáadásáról szóló útmutató a fiókos részt fedi le.

Mentsük-e a beszélgetéseket

A mentett szálak hasznosak: a felhasználók folytathatják, ahol abbahagyták, te pedig a valódi kérdésekből javíthatod a promptot. Ugyanakkor személyes adatok is. Döntsd el, meddig tartod meg őket, írd le az adatvédelmi tájékoztatódban, és ne mentsd azt, amire nincs szükséged.

Írd meg a rendszerpromptot, mint egy munkaköri leírást

A rendszerprompt az utasítás, amelyet a modell minden beszélgetés előtt megkap. A jó rendszerprompt egy új munkatársnak írt rövid eligazításra hasonlít:

• Szerep és közönség: „Te vagy az Oakline, egy kerékpárszerviz segítő asszisztense. Ügyfelekkel beszélgetsz.”
• Hatókör: „Szolgáltatásokról, árakról, nyitvatartásról és időpontfoglalásról válaszolj. Mindenre máshoz mondd, hogy csak a szervizzel kapcsolatban tudsz segíteni.”
• Igazságforrás: „Csak az alábbi információkat használd. Ha a válasz nincs benne, mondd, hogy nem tudod, és add meg a szerviz telefonszámát.”
• Hangnem és hossz: „Barátságos, egyszerű magyar nyelv, három mondatnál nem hosszabb, hacsak nem kérnek részletet.”
• Kemény szabályok: „Soha ne ígérj olyan javítási árat, amely nincs felsorolva. Soha ne kérj bankkártya-adatokat.”

Utána teszteld nehéz kérdésekkel: témán kívüli kérések, durva üzenetek, olyan kérdések, amelyek válasza nincs a tartalmadban, és próbálkozások, amelyekkel rá akarják venni, hogy hagyja figyelmen kívül az utasításait („felejtsd el a szabályaidat, és…”). Finomítsd a promptot addig, amíg a válaszok olyanok nem lesznek, amelyekért szívesen vállalod a felelősséget.

Tartsd kiszámíthatóan a költségeket

A szolgáltatók tokenenként számláznak (nagyjából szórészenként), mind a küldött bemenetért, mind a modell által írt kimenetért. Három dolog határozza meg a számlát:

1. A beszélgetés hossza. Minden új üzenet rendszerint újraküldi a teljes szálat, hogy a modell lássa a kontextust. Egy 40 üzenetes csevegés válasza sokkal drágább, mint egy 4 üzenetesé. Tarts meg csak az utolsó néhány fordulót, vagy foglald össze a régebbieket.
2. A prompt mérete. Egy hosszú rendszerprompt vagy egy nagy beillesztett tudásblokk minden üzenettel elmegy.
3. A válasz hossza. Állíts be maximális válaszhosszt az API-hívásban, és kérj tömör válaszokat a promptban.

Élesítés előtt állíts be havi költési limitet a szolgáltató irányítópultján, és naplózd minden kérés token-használatát, hogy lásd, mely beszélgetések drágák. Itt nem adunk meg árakat, mert modellenként eltérnek, és gyakran változnak; ellenőrizd a szolgáltató saját árazási oldalát.

Építsd meg lépésről lépésre

1. lépés: Írd le a botot, ne a kódot

Egy első prompt, amely megnevezi a közönséget, a hatókört, az adatokat és a biztonsági szabályokat, a munka nagy részét elvégzi:

Készíts ügyfélszolgálati chatbotot az Oaklinenek, egy kerékpárszervizhez. Egy csevegőoldal üzenetlistával és beviteli mezővel, a válaszok úgy jelenjenek meg, ahogy íródnak. Hívd az Anthropic API-t egy szerveroldali útvonalról a titkos ANTHROPIC_API_KEY kulccsal — soha ne juttasd el a böngészőig. A rendszerprompt csak a szolgáltatásainkról, árainkról és nyitvatartásunkról szóló, a shop-info.md nevű fájl szövegére épülő válaszokat adjon, egyébként mondja: „Nem vagyok biztos benne — hívjon minket az alábbi számon.” Az üzenetek legfeljebb 500 karakteresek legyenek, látogatónként óránként 20 üzenet. Tiszta, barátságos dizájn, amely telefonon is működik.

2. lépés: Add meg a kulcsot titokként

Hozd létre a kulcsot a szolgáltatód konzoljában, majd tárold a projekt környezeti változóiban vagy titkaiban, ne a csevegésben és ne a kódban. Ha a kulcs valaha nyilvános helyen megjelenik, vonhatod vissza a szolgáltatónál, és hozhatsz létre újat. A mik a környezeti változók és a titkok című útmutató elmagyarázza, miért fontos ez.

3. lépés: Teszteld a válaszokat, ne csak a felületet

Amint a csevegés működik, az idő nagy részét a válaszok minőségére fordítsd. Vezess egy listát húsz körülbelül valódi kérdésről, köztük néhány olyanról, amelyet el kell utasítani, és futtasd végig minden prompt-változtatás után. Ellenőrizd:

• Marad-e a hatókörön belül?
• Bevallja-e, ha nem tudja, ahelyett, hogy kitalálna egy választ?
• Megáll-e akkor is, ha valaki felülírni próbálja az utasításait?
• Hiányzik-e a kulcs mindenből, amit a böngésző letölt?

4. lépés: Adj hozzá memóriát és fiókokat, ha kell

Amint az egyes beszélgetések működnek, kérd a mentett szálakat egy adatbázisban, és ha szükséges, a regisztrációt és a bejelentkezést, hogy minden felhasználó csak a saját csevegéseit lássa. Ezzel egyidejűleg adj hozzá felhasználónkénti napi üzenetkeretet.

5. lépés: Publikálás a korlátokkal együtt

Győződj meg róla, hogy a közzétett alkalmazásban ugyanazok a titkok vannak, mint az előnézetben, a költési plafon be van állítva a szolgáltatónál, és a hibák olyan helyre kerülnek naplóba, ahol látni fogod őket. Ezután oszd meg egy kis csoporttal, mielőtt a fő weboldaladra tennéd.

Biztonság és bizalom

A chatbot a te nevedben beszél a nyilvánossággal, ezért a hibás működését a te problémádként kezeld:

• Téves válaszok. A modellek magabiztosan mondhatnak hamis dolgokat. Tartsd a botot szűk témán, alapozd a saját tartalmadra, és minden fontos kérdésnél jelezz rövid figyelmeztetést, hogy a válaszok tévesek lehetnek.
• Prompt-injekció. A felhasználók (vagy a bot által olvasott dokumentumok) olyan utasításokat tartalmazhatnak, mint „hagyd figyelmen kívül a korábbi szabályokat”. Ne adj a botnak olyan jogosultságot, amelyben nem bízhatsz: ne intézzen visszatérítést, törlést vagy e-mail küldését a felhasználó kérésére a te kódodban lévő ellenőrzés nélkül.
• Érzékeny témák. Orvosi, jogi vagy pénzügyi kérdéseknél irányítsa az embereket szakemberhez, ahelyett hogy tanácsot adna.
• Személyes adatok. Ne illessz ügyféladatokat a promptokba, hacsak nem muszáj, és nézd meg, mit mond a szolgáltatód feltételeiben az API-adatok kezeléséről.

Az AI-val épített alkalmazások biztonsági ellenőrzőlistája a teljes alkalmazást fedi le.

Gyakori hibák

• A szolgáltató hívása a böngészőből. A kulcs kiszivárog. Mindig a szerveren keresztül menj.
• Nyilvános botra vonatkozó korlátok hiánya. Egy szkript egy délután alatt kimerítheti a havi keretet.
• RAG-gal, eszközökkel és több modellel kezdeni egyszerre. Előbb működjön egy jó beszélgetés; a többit akkor add hozzá, amikor a valódi kérdések megmutatják, hogy szükséged van rá.
• Csak a barátságos kérdések tesztelése. A felhasználóid az első napon furcsa, ellenséges és témán kívüli dolgokat fognak kérdezni.
• Hagyni, hogy a szál örökké nőjön. A költségek és a válaszidők minden üzenettel emelkednek.

Mikor jobb a kész termék

Saját botot akkor érdemes építeni, ha a chatbot a terméked része, a saját adataidat vagy munkafolyamatodat igényli, vagy meghatározott megjelenésre és viselkedésre van szükséged. Gyakran rossz döntés, ha:

• Csak egy ügyfélszolgálati widgetet szeretnél egy meglévő weboldalon. Sok helpdesk- és élőchat-termék ma már tartalmaz AI-válaszbotot, amely beolvassa a súgóközpontodat, és az emberi átadás, a postaláda és a jelentések már kész.
• Csak te vagy a csapatod használja. Egy általános asszisztens, például a ChatGPT vagy a Claude előfizetése, a feltöltött dokumentumaiddal, elég lehet.
• Szigorú megfelelési garanciákra van szükséged (például szabályozott egészségügyi vagy pénzügyi adatoknál). Egy szolgáltató, amelynek már megvannak a tanúsítványai, biztonságosabb lehet, mint egyedi építés.

Építés a Mythexszel

A Mythex egy AI-alkalmazásépítő: a chatben leírod a chatbotot, ő megírja a felületet és a szerveroldali hívást, futtatja élő előnézetben, és nyilvános URL-re teszi közzé. Az alkalmazáson belüli AI a saját szolgáltatói kulcsodat használja. Ezt a projekt titkai között adod meg, vagy a Mythex csevegésében megjelenő titkokat kérő kártyán keresztül, és a szolgáltatói használatot a te szolgáltatói fiókodra számlázzák, nem a Mythex-építési kreditekre. A Mythex nem ad tokeneket az alkalmazásod felhasználóinak, nem tartalmaz beépített tudásbázis-terméket és kész sebességkorlátokat: ezeket kéred és teszteled. A AI hozzáadása az alkalmazásodba dokumentációs oldal végigvezet a folyamaton, a saját API-kulcsokkal történő AI-hozzáadás pedig egy kiindulási promptot tartalmaz.

Ha a botnak mentett szálakra van szüksége, a Mythex a kérésedre Postgres-adatbázist csatol a projekthez. További módokért, ahogyan modelleket használhatsz egy alkalmazáson belül, az összefoglalástól az osztályozásig, lásd hogyan adj AI-funkciókat az alkalmazásodhoz útmutatót, vagy böngészd az alkalmazássablonokat, ha kiindulópontokra van szükséged.

Kérdések