Kā pievienot MI funkcijas savai lietotnei

Lai pievienotu MI funkcijas savai lietotnei, izsauc lielā valodas modeļa (LLM) API no sava servera: nosūti tam skaidras instrukcijas un attiecīgos datus un izmanto to, ko atbildē saņem. Lielākā daļa noderīgu funkciju ir viens no četriem modeļiem — kopsavilkums, tērzēšana, strukturētu datu izvilkšana un klasifikācija — un katrs no tiem ir dažu desmitu rindiņu kods, ko AI lietotņu veidotājs var uzrakstīt tavā vietā. Darbs, kas nosaka, vai funkcija ir laba, atrodas ap izsaukumu: API atslēgas glabāšana serverī, izmaksu kontrole katram lietotājam un rezultāta pārbaude, pirms tam uzticies.

Četri modeļi, uz kuriem balstās lielākā daļa MI funkciju

Izvilkšana un klasifikācija bieži ir vērtīgākās un vismazāk pamanāmās. Tās klusi ietaupa kādam dažas minūtes katrā ierakstā, un, tā kā izvade ir fiksētas formas, to var automātiski pārbaudīt. Tērzēšana ir redzamākā, bet grūtāk pareizi izveidojama, un tai ir sava rokasgrāmata: kā izveidot MI tērzēšanas robota lietotni.

Kā tas iekļaujas tavā lietotnē

Katram modelim ir viena un tā pati forma:

1. Lietotājs rīkojas — noklikšķina „Apkopot”, augšupielādē failu, nosūta ziņu.
2. Tavs frontend izsauc tavu serveri, nevis MI nodrošinātāju.
3. Tavs serveris veido pieprasījumu: sistēmas instrukcijas, lietotāja ievadi un visus modelim vajadzīgos datus no tavas datubāzes — tikai tos, ko šis lietotājs drīkst redzēt.
4. Tavs serveris izsauc LLM API ar atslēgu, kas glabāta vides mainīgajā.
5. Tavs serveris pārbauda atbildi — derīgs JSON, zināma etiķete, saprātīgs garums — un saglabā vai atgriež to.
6. Frontend parāda rezultātu, garākām atbildēm straumējot tekstu, kamēr tas ienāk.

Atslēga 4. solī atrodas serverī un nekad nesasniedz pārlūkprogrammu. Ja API ideja ir jauna, kas ir API ir īss ievads, un kā izmantot LLM API dziļāk aplūko marķierus, modeļus un atslēgas.

Nodrošinātāja un modeļa izvēle

Galvenie nodrošinātāji — OpenAI, Anthropic, Google un citi — piedāvā teksta API ar aptuveni līdzīgu formu. Noderīgi jautājumi izvēles brīdī:

• Kvalitāte tavam uzdevumam. Izmēģini dažus reālus piemērus no savas lietotnes ar divi vai trim modeļiem. Atšķirības bieži ir skaidrākas uz taviem datiem nekā vispārīgos testos.
• Izmērs pret izmaksām. Nodrošinātāji piedāvā lielākus, spējīgākus modeļus un mazākus, lētākus un ātrākus. Klasifikācija un vienkārša izvilkšana bieži labi darbojas uz mazāka modeļa; garus spriedumus vai smalku tekstu var vajadzēt lielākam.
• Strukturēta izvade. Izvilkšanai un klasifikācijai dod priekšroku API funkcijai, kas liek modelim atgriezt JSON atbilstoši tavai shēmai, nevis parsēt brīvu tekstu.
• Datu apstrāde. Izlasi nodrošinātāja noteikumus par to, vai API ievades tiek glabātas vai izmantotas apmācībai, un vai tas atbilst datiem, ko lietotāji tev sniedz.
• Limiti. Jauniem kontiem bieži ir zemāki pieprasījumu limiti; pārbaudi tos pirms palaišanas.

Modeļu nosaukumi un cenas bieži mainās, tāpēc kodam modeļa nosaukums jālasa no konfigurācijas, nevis jāieraksta cietā kodā vairākās vietās.

Funkcijas pievienošana soli pa solim

Paņem konkrētu piemēru: mazu CRM, kur katram kontaktam ir gara piezīmju vēsture.

1. Saglabā atslēgu. Izveido atslēgu sava nodrošinātāja panelī un saglabā to kā noslēpumu servera pusē, piemēram, OPENAI_API_KEY vai ANTHROPIC_API_KEY.

2. Pieprasi vienu šauru funkciju:

Pievieno pogu „Apkopot” kontakta lapai. Serverī nosūti kontakta pēdējās 20 piezīmes nodrošinātājam [PROVIDER], izmantojot noslēpumu [ENV_NAME], ar instrukciju uzrakstīt trīs punktus: pašreizējais statuss, atvērtie jautājumi, nākamais solis. Iekļauj tikai tās piezīmes, ko pieteikušais lietotājs var redzēt. Parādi ielādes stāvokli, saglabā kopsavilkumu ar laika zīmogu un, ja izsaukums neizdodas, parādi „Pašlaik nevar apkopot”. Nekad nesūti atslēgu pārlūkprogrammai.

3. Pievieno izvilkšanu tur, kur tā ietaupa rakstīšanu:

Kad lietotājs ielīmē e-pasta parakstu lodziņā „Ātrā pievienošana”, izsauc [PROVIDER] serverī un atgriez JSON ar vārdu, uzņēmumu, amatu, e-pastu un tālruni, izmantojot nodrošinātāja strukturētās izvades funkciju. Serverī pārbaudi JSON, aizpildi jauno kontakta veidlapu ar to un ļauj lietotājam pirms saglabāšanas rediģēt. Ja nav pārliecības, atstāj laukus tukšus, nevis mini.

„Ļaut lietotājam rediģēt pirms saglabāšanas” ir svarīgākā daļa: modelis piedāvā, cilvēks izlemj.

4. Klasificē fonā:

Kad ienāk jauns atbalsta pieteikums, klasificē to tieši vienā no: billing, bug, feature request, account access, other. Izmanto mazu, lētu modeli. Ja atbilde nav viena no šīm etiķetēm, saglabā „other”. Parādi etiķeti kā rediģējamu tagu.

5. Pārbaudi ar nekārtīgiem reāliem datiem — garām piezīmēm, tukšām piezīmēm, citām valodām, parakstu bez tālruņa numura — un pirms palaišanas aplūko divdesmit rezultātus līdzās.

Instrukciju rakstīšana, kas strādā

Instrukcijas, ko nosūti ar katru pieprasījumu (bieži saukta par sistēmas uzvedni), ir vieta, kur rodas kvalitāte.

• Pasaki, kam tas paredzēts un kas ir labs rezultāts. „Kopsavilkumus pirms zvana 10 sekunžu laikā izlasa pārdevējs” dod modelim mērķi.
• Nosaki formātu. Precīzs punktu skaits, garuma ierobežojums, lauki, etiķetes.
• Pasaki, ko darīt, kad nav pārliecības. „Ja piezīmēs nav minēts nākamais solis, uzraksti ‘Nākamais solis nav reģistrēts’.” Tas samazina izdomātas atbildes.
• Dod divus vai trīs piemērus labai ievadei un izvadei izvilkšanai un klasifikācijai.
• Glabā instrukcijas atsevišķi no lietotāja satura un skaidri apzīmē lietotāja saturu, lai modelis var tos atšķirt.

Glabā uzvednes failos savā kodu bāzē, lai tās būtu versētas un pārskatāmas kā jebkurš cits kods.

Izmaksu kontrole

LLM API maksā par marķieriem — maziem teksta gabaliem — gan par nosūtīto, gan par saņemto. Izmaksas pieaug, reizinot konteksta apjomu katram pieprasījumam ar to, cik bieži tas tiek izpildīts. Praktiskas kontroles:

• Sūti tikai nepieciešamo. Pēdējās 20 piezīmes, nevis visu vēsturi. Garus dokumentus saīsini vai sadali.
• Izmanto mazāko modeli, kas tiek galā ar uzdevumu. Pārbaudi, pirms pieņem lielāko kā noklusējumu.
• Ierobežo izvades garumu ar API maksimālo marķieru iestatījumu.
• Kešo rezultātus. Glabā kopsavilkumu un atjauno to tikai tad, kad mainās avots, nevis katrā lapas skatījumā.
• Ierobežo katram lietotājam. Dienas limits katram kontam vai plānam neļauj vienam smagam lietotājam vai vienam skriptam palielināt rēķinu.
• Ierobežo pieprasījumu biežumu šim galapunktam kā jebkuram citam dārgam maršrutam.
• Iestati budžetu vai brīdinājumu nodrošinātāja panelī un pārbaudi lietojumu katru nedēļu pēc palaišanas.
• Reģistrē marķieru lietojumu katrai funkcijai, lai zinātu, kura cik maksā.

Ja MI funkcijas ir tavs produkta pamats, ņem vērā to darbināšanas izmaksas savā cenā, nevis absorbē tās.

Drošība un uzticēšanās

MI izvade ir varbūtīga. Tā var būt nepareiza, skanot pārliecinoši, un to var novirzīt teksts, ko tā lasa. Veido ar to prātā:

• Uzskati izvadi par neuzticamu ievadi. Pārbaudi struktūru, izvada HTML pirms attēlošanas un nekad neizpildi to kā kodu vai datubāzes vaicājumus.
• Saglabā cilvēku procesā visam, kam ir sekas — e-pasta nosūtīšanai, ieraksta maiņai, maksājuma atmaksai. Modelis sagatavo, cilvēks apstiprina.
• Sargies no prompt injection. Dokuments vai ziņa var saturēt tekstu „ignorē savus norādījumus”. Ierobežo, ko modelis var redzēt, līdz tam, ko pašreizējais lietotājs drīkst redzēt, un nedod tam rīkus, kas var veikt sensitīvas darbības bez tava koda atļauju pārbaudes.
• Marķē MI saturu, lai lietotāji zinātu, ka kopsavilkums vai ieteikums ir ģenerēts un to var pārbaudīt.
• Labi apstrādā kļūmes. Nodrošinātājiem ir traucējumi un pieprasījumu limiti. Iestati laika ierobežojumu, parādi skaidru ziņojumu un ļauj pārējai lietotnei turpināt darboties.
• Vēro, ko lietotāji sūta. Atvērtiem teksta laukiem apsver satura moderācijas soli un skaidri norādi privātuma politikā, ka saturu apstrādā trešās puses MI nodrošinātājs.

Plašāks pārbaužu saraksts ir drošības kontrolsarakstā MI veidotām lietotnēm.

Biežākās kļūdas

• Sākt ar vispārīgu tērzēšanas robotu, kad viena poga „Apkopot” vai „Kategorizēt” palīdzētu vairāk cilvēkiem.
• Atslēgas ievietošana frontend kodā vai publiskā repozitorijā.
• Visas datubāzes sūtīšana kā kontekstu, kas ir lēni, dārgi un var atklāt citu lietotāju datus.
• Brīvā teksta izvades uzticēšana, kur shēma vai fiksētu etiķešu kopums to padarītu pārbaudāmu.
• Nav limitu katram lietotājam, ko atklāj, kad pienāk pirmais rēķins.

MI funkciju pievienošana ar Mythex

Mythex lietotnē MI pievienojat, tērzēšanā to pieprasot, izmantojot savu nodrošinātāja atslēgu. Glabā atslēgu kā projekta noslēpumu — kad aģentam tā vajag, Mythex tērzēšanā parāda noslēpumu kartīti, lai tu neiekopē atslēgu sarunā — un aģents raksta servera maršrutu, uzvednes un saskarni. Tavas lietotnes MI lietojumu maksā tavs nodrošinātājs, atsevišķi no Mythex kredītiem, ko tērē būvēšanai. Dokumentācijā ir sākuma uzvedne rakstā MI funkciju pievienošana ar savām API atslēgām.

Jautājumi