Kako dodati funkcije umetne inteligence v svojo aplikacijo

Funkcije umetne inteligence v svojo aplikacijo dodate tako, da s strežnika kličete API velikega jezikovnega modela (LLM): modelu pošljete jasna navodila in ustrezne podatke ter uporabite, kar se vrne. Večina uporabnih funkcij sodi v enega od štirih vzorcev — povzemanje, klepet, izluščevanje strukturiranih podatkov in razvrščanje — vsak pa je nekaj deset vrstic kode, ki jo vam lahko napiše AI graditelj. Kar odloča, ali je funkcija kakovostna, je delo okoli klica: ključ API-ja ostane na strežniku, stroške nadzirate na uporabnika in izhod preverite, preden mu zaupate.

Štirje vzorci, na katerih temelji večina AI funkcij

Izluščevanje in razvrščanje sta pogosto najkoristnejša in najmanj opazna. Na vsakem zapisu tiho prihranita nekaj minut, ker pa je izhod fiksne oblike, ga lahko samodejno preverite. Klepet je najbolj viden, a ga je najtežje dobro narediti, zato ima svoj vodnik: kako zgraditi aplikacijo klepetalnega robota z AI.

Kako se vklopi v vašo aplikacijo

Vsak vzorec ima enako obliko:

1. Uporabnik nekaj naredi — klikne »Povzemi«, naloži datoteko, pošlje sporočilo.
2. Vaš frontend pokliče vaš strežnik, ne ponudnika AI.
3. Vaš strežnik sestavi zahtevo: sistemska navodila, uporabnikov vnos in vse podatke iz baze, ki jih model potrebuje — samo podatke, ki jih ta uporabnik sme videti.
4. Vaš strežnik pokliče LLM API s ključem, shranjenim v okoljski spremenljivki.
5. Vaš strežnik preveri odgovor — veljaven JSON, znana oznaka, razumna dolžina — in ga shrani ali vrne.
6. Frontend ga prikaže; daljše odgovore pretaka sproti, ko prihajajo.

Ključ je na strežniku v koraku 4 in nikoli ne doseže brskalnika. Če je ideja API-ja nova, je kaj je API kratek uvod, kako uporabljati LLM API-je pa podrobneje obravnava žetone, modele in ključe.

Izbira ponudnika in modela

Veliki ponudniki — OpenAI, Anthropic, Google in drugi — ponujajo tekstovne API-je s precej podobno obliko. Pri izbiri se vprašajte:

• Kakovost pri vaši nalogi. Preizkusite nekaj resničnih primerov iz svoje aplikacije na dveh ali treh modelih. Razlike so pogosto jasnejše na vaših podatkih kot na splošnih merilih.
• Velikost proti ceni. Ponudniki imajo večje, zmogljivejše modele in manjše, cenejše in hitrejše. Razvrščanje in preprosto izluščevanje pogosto dobro delujeta na majhnem modelu; dolgo sklepanje ali zahtevnejše pisanje morda potrebuje večjega.
• Strukturiran izhod. Za izluščevanje in razvrščanje raje uporabite funkcijo API-ja, ki model prisili, da vrne JSON, ustrezen shemi, ki jo podate, namesto razčlenjevanja prostega besedila.
• Ravnanje s podatki. Preberite pogoje ponudnika o tem, ali se vhodi API-ja shranjujejo ali uporabljajo za učenje, in ali to ustreza podatkom, ki vam jih dajejo uporabniki.
• Omejitve. Novi računi imajo pogosto nižje omejitve hitrosti; pred lansiranjem jih preverite.

Imena modelov in cene se pogosto spreminjajo, zato naj koda ime modela bere iz konfiguracije, ne pa da ga trdo zapiše na več mestih.

Dodajanje funkcije, korak za korakom

Vzemimo konkreten primer: majhen CRM, kjer ima vsak stik dolgo zgodovino zapiskov.

1. Shranite ključ. Ustvarite ključ v nadzorni plošči ponudnika in ga shranite kot tajnost na strežniku, na primer OPENAI_API_KEY ali ANTHROPIC_API_KEY.

2. Zahtevajte eno ozko funkcijo:

Na stran stika dodaj gumb »Povzemi«. Na strežniku pošlji zadnjih 20 zapiskov stika ponudniku [PROVIDER] z uporabo tajnosti [ENV_NAME], z navodili, naj napiše tri točke: trenutni status, odprta vprašanja, naslednji korak. Vključi samo zapiske, ki jih lahko vidi prijavljeni uporabnik. Pokaži stanje nalaganja in ob napaki »Trenutno ni mogoče povzeti«. Shrani povzetek s časovnim žigom. Ključa nikoli ne pošiljaj v brskalnik.

3. Dodajte izluščevanje, kjer prihrani tipkanje:

Ko uporabnik v polje »Hitro dodajanje« prilepi podpis e-pošte, na strežniku pokliči [PROVIDER] in vrni JSON z imenom, podjetjem, delovnim mestom, e-pošto in telefonom, z uporabo funkcije strukturiranega izhoda ponudnika. Na strežniku preveri JSON, z njim predizpolni obrazec za nov stik in uporabniku dovoli urejanje pred shranjevanjem. Prazna polja pustite prazna, namesto da ugibate.

»Naj uporabnik uredi pred shranjevanjem« je pomemben del: model predlaga, odloči pa oseba.

4. Razvrščajte v ozadju:

Ko prispe nova podporna vstopnica, jo razvrsti natanko v eno od: obračun, napaka, zahteva za funkcijo, dostop do računa, drugo. Uporabi majhen, poceni model. Če odgovor ni ena od teh oznak, shrani »drugo«. Oznako prikaži kot urejljivo značko.

5. Preizkusite z neurejenimi resničnimi podatki — dolgi zapiski, prazni zapiski, drugi jeziki, podpis brez telefonske številke — in pred objavo primerjajte dvajset izhodov drug ob drugem.

Pisanje navodil, ki delujejo

Navodila, ki jih pošiljate ob vsaki zahtevi (pogosto imenovana sistemski poziv), so vir kakovosti.

• Povejte, za koga je in kaj je dober rezultat. »Povzetke bere prodajalec v 10 sekundah pred klicem« modelu da cilj.
• Določite obliko. Točno število točk, omejitev dolžine, polja, oznake.
• Povejte, kaj storiti, ko ni prepričan. »Če zapiski ne omenjajo naslednjega koraka, zapiši ‚Naslednji korak ni zabeležen‘.« To zmanjša izmišljene odgovore.
• Dodajte dva ali tri primere dobrega vhoda in izhoda za izluščevanje in razvrščanje.
• Ločite navodila od uporabniških vsebin in uporabniške vsebine jasno označite, da jih model loči.

Pozive hranite v datotekah v kodni bazi, da so različicirani in pregledljivi kot katerakoli koda.

Nadzor stroškov

LLM API-ji zaračunavajo po žetonih — majhnih koščkih besedila — tako za poslano kot za vrnjeno vsebino. Strošek narašča z obsegom konteksta na zahtevo, pomnoženim s tem, kako pogosto se izvaja. Praktični nadzori:

• Pošljite samo, kar je potrebno. Zadnjih 20 zapiskov, ne celotne zgodovine. Dolge dokumente skrajšajte ali razdelite.
• Uporabite najmanjši model, ki opravi nalogo. Preizkusite, preden privzeto vzamete največjega.
• Omejite dolžino izhoda z nastavitvijo največjega števila žetonov pri API-ju.
• Shranjujte rezultate v predpomnilnik. Shranite povzetek in ga ponovno ustvarite samo, ko se izvorni podatki spremenijo, namesto ob vsakem ogledu strani.
• Omejite na uporabnika. Dnevna omejitev na račun ali načrt prepreči, da en težak uporabnik ali ena skripta povzroči velik račun.
• Omejite hitrost končne točke kot katerokoli drago pot.
• Nastavite proračun ali opozorilo v nadzorni plošči ponudnika in po lansiranju tedensko preverjajte porabo.
• Beležite porabo žetonov po funkciji, da veste, katera koliko stane.

Če so AI funkcije ključne za vaš izdelek, vključite njihov tekoči strošek v svoje cene, namesto da ga absorbirate.

Varnost in zaupanje

Izhod umetne inteligence je verjetnosten. Lahko je napačen, a zveni samozavestno, in lahko ga usmerja besedilo, ki ga bere. Na to zgradite:

• Z izhodom ravnajte kot z nezaupanja vrednim vhodom. Preverite strukturo, pred prikazom v HTML-ju ga očistite in ga nikoli ne izvajajte kot kodo ali poizvedbe v bazi.
• Ohranite človeka v zanki pri vsem, kar ima posledice — pošiljanje e-pošte, spreminjanje zapisa, vračilo plačila. Model pripravi osnutek; oseba potrdi.
• Preprečite prompt injection. Dokument ali sporočilo lahko vsebuje besedilo, kot je »prezri svoja navodila«. Omejite, kaj model lahko vidi, na to, kar sme videti trenutni uporabnik, in mu ne dajajte orodij, ki lahko sprožijo občutljiva dejanja, ne da bi jih vaša koda najprej preverila dovoljenja.
• Označite vsebino umetne inteligence, da uporabniki vedo, da je povzetek ali predlog nastal samodejno, in ga lahko preverijo.
• Ravnajte z napakami elegantno. Ponudniki imajo izpade in omejitve hitrosti. Nastavite časovno omejitev, pokažite jasno sporočilo in naj ostali del aplikacije deluje naprej.
• Pazite, kaj uporabniki pošiljajo. Pri odprtih besedilnih vnosih razmislite o koraku moderiranja in v politiki zasebnosti jasno povejte, da vsebino obdeluje tretji ponudnik AI.

Širši seznam preverjanj je v varnostnem kontrolnem seznamu za aplikacije, zgrajene z AI.

Pogoste napake

• Začetek s splošnim klepetalnim robotom, ko bi en gumb »Povzemi« ali »Razvrsti« pomagal več ljudem.
• Ključ v kodi frontenda ali v javnem repozitoriju.
• Pošiljanje celotne baze kot kontekst, kar je počasno, drago in tvega razkritje podatkov drugih uporabnikov.
• Zaupanje prostemu besedilu, kjer bi shema ali nabor oznak naredila izhod preverljiv.
• Brez omejitev na uporabnika, odkrite, ko pride prvi račun.

Dodajanje AI funkcij z Mythexom

V Mythexu AI v svojo aplikacijo dodate tako, da zahtevate v klepetu, s svojim ključem ponudnika. Ključ shranite kot tajnost projekta — ko ga agent potrebuje, Mythex v klepetu prikaže kartico s tajnostmi, da ključa ne prilepite v pogovor — agent pa napiše strežniško pot, pozive in vmesnik. Poraba AI v vaši aplikaciji se zaračuna vašemu ponudniku, ločeno od kreditov Mythex, ki jih porabite za gradnjo. Začetni poziv za dodajanje AI funkcij z lastnimi API ključi najdete v dokumentaciji.

Vprašanja