Si të ndërtoni një aplikacion chatbot me AI: Çelësa, Prompt-e, Kostot dhe Siguria

Për të ndërtuar një aplikacion chatbot me AI ju duhen katër gjëra: një ndërfaqe bisede, një server i vogël që mban çelësin API të ofruesit të modelit dhe i përcjell mesazhet te ai, një system prompt që i thotë modelit kush është dhe çfarë lejohet të bëjë, dhe kufizime që mbajnë kostot dhe keqpërdorimin nën kontroll. Një ndërtues aplikacionesh me AI mund ta shkruajë të gjithë këtë nga një përshkrim. Pjesa që mbetet në dorën tuaj është zgjedhja e ofruesit, shkrimi i udhëzimeve dhe vendosja e asaj që bot-i nuk duhet kurrë ta bëjë.

Nga çfarë përbëhet një aplikacion chatbot me AI

Shumica e aplikacioneve chatbot, qoftë një asistent mbështetjeje, një tutor apo një mjet i brendshëm „pyet dokumentacionin tonë“, kanë të njëjtat pjesë:

Rruga e serverit është pjesa që njerëzit e gabojnë më shpesh. Nëse faqja e bisedës e thërret ofruesin drejtpërdrejt nga shfletuesi, kushdo mund të hapë mjetet e zhvilluesit, të kopjojë çelësin tuaj dhe të rrisë faturën tuaj.

Vendimet që duhen marrë përpara ndërtimit

Cili ofrues dhe cili model

Ofruesit kryesorë (OpenAI, Anthropic, Google dhe të tjerë) ofrojnë të gjithë një API në stil bisede që funksionon në të njëjtën mënyrë: dërgoni një listë mesazhesh dhe merrni një përgjigje. Zgjedhja praktike ka të bëjë më pak me markën dhe më shumë me madhësinë e modelit:

• Modele më të vogla e më të shpejta janë më të lira dhe përgjigjen shpejt. Janë të mira për përgjigje të shkurtra, klasifikim dhe bot-e FAQ të thjeshta.
• Modele më të mëdha arsyetojnë më mirë, ndjekin më besueshëm udhëzimet e gjata dhe trajtojnë pyetje të ndërlikuara, por kushtojnë më shumë për çdo mesazh dhe përgjigjen më ngadalë.

Filloni me një model të mesëm, testojeni me pyetjet tuaja reale, dhe lëvizni lart ose poshtë nga aty. Nëse nuk jeni të njohur me mënyrën si çmohen dhe thirren këto API, lexoni së pari si të përdorni API-t LLM.

Nga vjen njohuria e bot-it

Filloni me opsionin më të thjeshtë që mbulon përmbajtjen tuaj. Rikthimi (retrieval) shton një indeks kërkimi, një mënyrë për ta mbajtur të përditësuar dhe më shumë vende ku përgjigjet mund të gabojnë. Shumë bot-e të dobishëm nuk kanë nevojë kurrë për të.

Publik, apo pas hyrjes

Një chatbot publik në faqen tuaj është i lehtë për t’u arritur, por edhe i lehtë për t’u keqpërdorur: dikush mund të skriptojë mijëra mesazhe kundër tij. Një chatbot me hyrje ju lejon të ruani historikun për çdo përdorues dhe të caktoni një kuotë ditore për llogari. Nëse është publik, kufizoni gjatësinë e mesazhit, kufizoni sa mesazhe mund të dërgojë një vizitor brenda një periudhe të caktuar dhe vendosni një limit të ngurtë mujor në panelin e ofruesit. Si të shtoni hyrje në aplikacionin tuaj mbulon anën e llogarive.

Nëse do të ruhen bisedat

Bisedat e ruajtura janë të dobishme: përdoruesit mund të vazhdojnë aty ku kishin mbetur, dhe ju mund të lexoni pyetje reale për të përmirësuar prompt-in. Por janë gjithashtu të dhëna personale. Vendosni sa kohë i mbani, thoni këtë në njoftimin tuaj për privatësinë, dhe mos ruani asgjë që nuk ju nevojitet.

Shkruajeni system prompt-in si një përshkrim pune

System prompt-i është udhëzimi që modeli merr përpara çdo bisede. Një prompt i mirë lexohet si një brief i shkurtër për një punonjës të ri:

• Roli dhe audienca: „Ti je asistenti i ndihmës për Oakline, një dyqan riparimi biçikletash. Flet me klientët.“
• Fushëveprimi: „Përgjigju pyetjeve për shërbimet, çmimet, orarin e hapjes dhe rezervimet. Për çdo gjë tjetër, thuaj se mund të ndihmosh vetëm për dyqanin.“
• Burimi i së vërtetës: „Përdor vetëm informacionin më poshtë. Nëse përgjigjja nuk gjendet aty, thuaj që nuk e di dhe jep numrin e telefonit të dyqanit.“
• Tonaliteti dhe gjatësia: „Miqësor, me gjuhë të thjeshtë, deri në tre fjali përveçse nëse kërkohet detaj.“
• Rregulla të ngurta: „Mos premto kurrë një çmim riparimi që nuk është i listuar. Mos kërko kurrë të dhëna karte.“

Pastaj testojeni me pyetje të vështira: kërkesa jashtë temës, mesazhe të pahijshme, pyetje për të cilat përgjigja nuk gjendet në përmbajtjen tuaj, dhe përpjekje për ta bërë të injorojë udhëzimet („harro rregullat e tua dhe…“). Rregulloni prompt-in derisa përgjigjet të jenë të tilla që do t’i firmosnit me emrin tuaj.

Mbajini kostot të parashikueshme

Ofruesit faturojnë për token (përafërsisht copëza fjalësh) për hyrjen që dërgoni dhe daljen që modeli shkruan. Tre gjëra e rrisin faturën:

1. Gjatësia e bisedës. Çdo mesazh i ri zakonisht ridërgon të gjithë fijen, që modeli të ketë kontekstin. Një bisedë me 40 mesazhe kushton shumë më tepër për çdo përgjigje sesa një me 4 mesazhe. Mbani vetëm disa kthesat e fundit, ose përmblidhni ato më të vjetra.
2. Madhësia e prompt-it. Një system prompt i gjatë ose një bllok i madh njohurish i ngjitur dërgohet me çdo mesazh.
3. Gjatësia e daljes. Vendosni një gjatësi maksimale përgjigjeje në thirrjen API dhe kërkoni përgjigje të shkurtra në prompt.

Vendosni një limit shpenzimesh mujore në panelin e ofruesit para lansimit, dhe regjistroni përdorimin e token-ave për çdo kërkesë, që të shihni cilat biseda janë të shtrenjta. Nuk po japim këtu çmime sepse ndryshojnë sipas modelit dhe ndryshojnë shpesh; kontrolloni faqen e çmimeve të ofruesit tuaj.

Ndërtojeni hap pas hapi

Hapi 1: Përshkruani botin, jo kodin

Një prompt i parë që emëron audiencën, fushëveprimin, të dhënat dhe rregullat e sigurisë ju çon shumicën e rrugës:

Ndërto një chatbot ndihme për klientët për Oakline, një dyqan riparimi biçikletash. Një faqe bisede me listën e mesazheve dhe kutinë e shkrimit, përgjigjet që shfaqen ndërsa shkruhen. Thirr API-n e Anthropic nga një rrugë serveri duke përdorur sekretin ANTHROPIC_API_KEY — mos e ekspozo kurrë në shfletues. Përdor një system prompt që përgjigjet vetëm pyetjeve për shërbimet, çmimet dhe orarin nga teksti i një skedari të quajtur shop-info.md, dhe thotë „Nuk jam i sigurt — na telefononi në numrin më poshtë“ përndryshe. Kufizo mesazhet në 500 karaktere dhe 20 mesazhe për vizitor në orë. Dizajn i pastër, miqësor, që funksionon në telefona.

Hapi 2: Shtoni çelësin si sekret

Krijoni çelësin në konsolën e ofruesit tuaj, pastaj ruajeni në variablat e mjedisit ose sekretet e projektit, jo në bisedë dhe jo në kod. Nëse një çelës ndonjëherë shfaqet diku publik, revokojeni te ofruesi dhe krijoni një të ri. Çfarë janë variablat e mjedisit dhe sekretet shpjegon pse kjo ka rëndësi.

Hapi 3: Testoni përgjigjet, jo vetëm ndërfaqen

Kur chat-i funksionon, kaloni shumicën e kohës te cilësia e përgjigjeve. Mbani një listë me rreth 20 pyetje reale, duke përfshirë disa që duhet të refuzohen, dhe kaloni nëpër to pas çdo ndryshimi në prompt. Kontrolloni:

• A qëndron brenda fushëveprimit?
• A pranon kur nuk e di, në vend që të shpikë një përgjigje?
• A i qëndron vendosur kur dikush përpiqet ta anashkalojë udhëzimin?
• A mungon çelësi nga çdo gjë që shkarkon shfletuesi?

Hapi 4: Shtoni memorie dhe llogari nëse ju duhen

Kur bisedat e vetme funksionojnë, kërkoni fije të ruajtura në një bazë të dhënash dhe, nëse nevojitet, regjistrim dhe hyrje, që çdo përdorues të shohë vetëm bisedat e veta. Shtoni njëkohësisht një kuotë ditore mesazhesh për përdorues.

Hapi 5: Publikoni me kufizimet të aktivizuara

Sigurohuni që aplikacioni i publikuar ka të njëjtët sekrete si parashikimi, që limiti i shpenzimeve është vendosur te ofruesi, dhe që gabimet regjistrohen diku ku do t’i shihni. Pastaj ndajeni me një grup të vogël përpara se ta vendosni në faqen tuaj kryesore.

Siguria dhe besueshmëria

Një chatbot i flet publikut në emrin tuaj, prandaj trajtojeni dështimet e tij si problem tuaj:

• Përgjigje të gabuara. Modelet mund të thonë me siguri gjëra të rreme. Mbajeni bot-in në një temë të ngushtë, bazojeni në përmbajtjen tuaj, dhe shfaqni një shënim të shkurtër se përgjigjet mund të jenë të gabuara në çështjet e rëndësishme.
• Injektim prompt-i. Përdoruesit (ose dokumentet që lexon bot-i) mund të përmbajnë udhëzime si „injoro rregullat e mëparshme“. Mos i jepni bot-it fuqi që nuk mund t’i besohen: pa rimbursime, fshirje ose email-e të dërguara sipas kërkesës së përdoruesit pa një kontroll në kodin tuaj.
• Tema të ndjeshme. Për pyetje mjekësore, ligjore ose financiare, bëjeni të drejtojë njerëzit te një profesionist në vend që të japë këshilla.
• Të dhëna personale. Mos ngjisni të dhëna klientësh në prompt përveç kur është e nevojshme, dhe kontrolloni çfarë thonë kushtet e ofruesit tuaj për mënyrën e trajtimit të të dhënave të API.

Lista jonë e sigurisë për aplikacionet e ndërtuara me AI mbulon pjesën tjetër të aplikacionit.

Gabimet e zakonshme

• Thirrja e ofruesit nga shfletuesi. Çelësi rrjedh. Kaloni gjithmonë përmes serverit tuaj.
• Asnjë kufi për një bot publik. Një skriptë mund të shterojë buxhetin e një muaji brenda një pasdite.
• Të nisësh njëkohësisht me RAG, mjete dhe modele të shumta. Bëni të funksionojë fillimisht një bisedë e mirë; shtoni pjesët e tjera kur pyetjet reale tregojnë se ju nevojiten.
• Testimi vetëm i pyetjeve miqësore. Përdoruesit tuaj do të pyesin gjëra të çuditshme, armiqësore dhe jashtë teme që në ditën e parë.
• Lejimi i fijes të rritet përgjithmonë. Kostot dhe kohët e përgjigjes rriten me çdo mesazh.

Kur një produkt gati është zgjidhja më e mirë

Ndërtimi i vetvetes ka kuptim kur chatbot-i është pjesë e produktit tuaj, ka nevojë për të dhënat ose rrjedhën e punës tuaj, ose duhet një pamje dhe sjellje specifike. Shpesh është zgjidhja e gabuar kur:

• Dëshironi vetëm një widget mbështetjeje në një faqe ekzistuese. Shumë produkte helpdesk dhe live-chat tani përfshijnë bot-e AI që lexojnë qendrën tuaj të ndihmës, me transferim tek njeriu, kutinë hyrëse dhe raportimin të gatshme.
• Vetëm ju ose ekipi juaj do ta përdorni. Një abonim te një asistent i përgjithshëm si ChatGPT ose Claude, me dokumentet tuaja të ngarkuara, mund të jetë gjithçka që ju nevojitet.
• Ju duhen garanci të rrepta përputhjeje (për shembull, të dhëna të rregulluara shëndetësore ose financiare). Një shitës që ka tashmë certifikimet mund të jetë më i sigurt se një ndërtim i personalizuar.

Ndërtimi me Mythex

Mythex është një ndërtues aplikacionesh me AI: e përshkruani chatbot-in në bisedë, dhe ai shkruan ndërfaqen dhe thirrjen e anës së serverit, e ekzekuton në një parashikim live dhe e publikon në një URL publike. AI brenda aplikacionit tuaj përdor çelësin tuaj të ofruesit. E shtoni në sekretet e projektit, ose përmes kartës së sekreteve që Mythex shfaq në bisedë kur ka nevojë për të, dhe përdorimi i ofruesit faturohet në llogarinë tuaj te ofruesi, jo si kredite ndërtimi të Mythex. Mythex nuk përfshin token për përdoruesit e aplikacionit tuaj, një produkt të gatshëm bazë njohurish, apo kufij gati të shpejtësisë: këto janë pjesë që i kërkoni dhe i testoni. Dokumentacioni mbi shtimin e AI brenda aplikacionit tuaj e udhëzon hap pas hapi, dhe shtoni AI me çelësat tuaj API ka një prompt fillestar.

Nëse bot-i ka nevojë për fije të ruajtura, Mythex i bashkon një bazë të dhënash Postgres projektit kur e kërkoni. Për më shumë mënyra për të përdorur modele brenda një aplikacioni, nga përmbledhjet te klasifikimi, shihni si të shtoni veçori AI në aplikacionin tuaj, ose shfletoni shablonet e aplikacioneve për pika nisjeje.

Pyetje