Ako pridať AI funkcie do aplikácie

Do aplikácie pridáte AI funkcie tak, že z vášho servera zavoláte API veľkého jazykového modelu (LLM): pošlete mu jasné pokyny a relevantné dáta a využijete to, čo sa vráti. Väčšina užitočných funkcií spadá do jedného zo štyroch vzorov — sumarizácia, chat, extrakcia štruktúrovaných dát a klasifikácia — a každá z nich je niekoľko desiatok riadkov kódu, ktoré vám AI nástroj vie napísať. Práca, ktorá rozhodne o tom, či je funkcia dobrá, je okolo volania: kľúč API drží na serveri, kontrolujete náklady na používateľa a výstup overujete skôr, než mu uverí.

Štyri vzory, na ktorých stoja väčšiny AI funkcií

Extrakcia a klasifikácia bývajú najcennejšie a najmenej viditeľné. Potichu ušetria niekomu niekoľko minút na každom zázname a keďže výstup má pevný tvar, dá sa automaticky skontrolovať. Chat je najviditeľnejší, ale najťažšie sa mu darí, a má vlastného sprievodcu: ako vytvoriť aplikáciu s AI chatbotom.

Ako to zapadá do vašej aplikácie

Každý vzor má rovnaký tvar:

1. Používateľ koná — klikne na „Zhrnúť“, nahrá súbor, pošle správu.
2. Váš frontend volá váš vlastný server, nie poskytovateľa AI.
3. Váš server zostaví požiadavku: systémové pokyny, vstup používateľa a dáta z databázy, ktoré model potrebuje — iba dáta, ktoré tento používateľ smie vidieť.
4. Váš server zavolá LLM API s kľúčom uloženým v premennej prostredia.
5. Váš server skontroluje odpoveď — platný JSON, známy štítok, rozumná dĺžka — a uloží ju alebo vráti.
6. Frontend ju zobrazí, pri dlhších odpovediach streamuje text, ako prichádza.

Kľúč je v kroku 4 na serveri a do prehliadača sa nikdy nedostane. Ak je pojem API nový, čo je API je krátky úvod a ako používať LLM API podrobnejšie vysvetľuje tokeny, modely a kľúče.

Výber poskytovateľa a modelu

Veľkí poskytovatelia — OpenAI, Anthropic, Google a ďalší — ponúkajú textové API s podobne vyzerajúcou štruktúrou. Pri výbere sa oplatí pýtať:

• Kvalita pri vašej úlohe. Vyskúšajte niekoľko skutočných príkladov z vašej aplikácie na dvoch alebo troch modeloch. Rozdiely sú na vašich dátach často jasnejšie než vo všeobecných benchmarkoch.
• Veľkosť vs. cena. Poskytovatelia ponúkajú väčšie, schopnejšie modely a menšie, lacnejšie a rýchlejšie. Klasifikácia a jednoduchá extrakcia často dobre fungujú na malom modeli; dlhé uvažovanie alebo jemné písanie môže potrebovať väčší.
• Štruktúrovaný výstup. Pri extrakcii a klasifikácii dajte prednosť funkcii API, ktorá prinúti model vrátiť JSON zodpovedajúci schéme, ktorú dodáte, namiesto parsovania voľného textu.
• Nakladanie s dátami. Prečítajte si podmienky poskytovateľa o tom, či sa vstupy z API ukladajú alebo používajú na trénovanie, a či to vyhovuje dátam, ktoré vám dávajú používatelia.
• Limity. Nové účty mávajú nižšie rate limity; skontrolujte ich pred spustením.

Názvy modelov a ceny sa menia často, preto by kód mal názov modelu čítať z konfigurácie a nie ho natvrdo zapisovať na mnohých miestach.

Pridanie funkcie krok za krokom

Vezmime konkrétny príklad: malé CRM, kde má každý kontakt dlhú históriu poznámok.

1. Uložte kľúč. Vytvorte kľúč v dashboarde poskytovateľa a uložte ho ako tajomstvo na strane servera, napríklad OPENAI_API_KEY alebo ANTHROPIC_API_KEY.

2. Požiadajte o jednu úzko zameranú funkciu:

Pridaj na stránku kontaktu tlačidlo „Zhrnúť“. Na serveri pošli posledných 20 poznámok kontaktu poskytovateľovi [PROVIDER] s použitím tajomstva [ENV_NAME] a s pokynom napísať tri odrážky: aktuálny stav, otvorené otázky, ďalší krok. Zahrň len poznámky, ktoré môže prihlásený používateľ vidieť. Zobraz stav načítavania, ulož zhrnutie s časovou pečiatkou a ak volanie zlyhá, zobraz hlásenie „Teraz sa nepodarilo zhrnúť“. Kľúč nikdy neposielaj do prehliadača.

3. Pridajte extrakciu tam, kde ušetrí písanie:

Keď používateľ vloží podpis z e-mailu do poľa „Rýchle pridanie“, zavolaj na serveri [PROVIDER] a vráť JSON s menom, firmou, pracovnou pozíciou, e-mailom a telefónom, pričom použi funkciu štruktúrovaného výstupu poskytovateľa. Na serveri over JSON, predvyplň formulár nového kontaktu a nechaj používateľa upraviť údaje pred uložením. Polia nechaj prázdne namiesto hádania.

Dôležitá je časť „nechaj používateľa upraviť údaje pred uložením“: model navrhuje, rozhoduje človek.

4. Klasifikujte na pozadí:

Keď príde nový podporný tiket, zaraď ho práve do jednej z kategórií: fakturácia, chyba, žiadosť o funkciu, prístup k účtu, iné. Použi malý a lacný model. Ak odpoveď nie je jedným z týchto štítkov, ulož „iné“. Štítok zobraz ako upraviteľnú značku.

5. Otestujte na špinavých reálnych dátach — dlhé poznámky, prázdne poznámky, iné jazyky, podpis bez telefónneho čísla — a pred spustením si pozrite dvadsať výstupov vedľa seba.

Ako písať fungujúce pokyny

Pokyny, ktoré posielate pri každej požiadavke (často nazývané systémový prompt), sú miesto, kde vzniká kvalita.

• Povedzte, pre koho to je a čo je dobré. „Zhrnutia číta obchodník za 10 sekúnd pred hovorom“ dáva modelu cieľ.
• Pevne stanovte formát. Presný počet odrážok, limit dĺžky, polia, štítky.
• Povedzte, čo robiť, keď si model nie je istý. „Ak poznámky nespomínajú ďalší krok, napíš ‚Ďalší krok nie je zaznamenaný‘.“ Tým sa znižuje počet vymyslených odpovedí.
• Pri extrakcii a klasifikácii pridajte dva alebo tri príklady dobrého vstupu a výstupu.
• Oddeľte pokyny od obsahu používateľa a obsah používateľa jasne označte, aby model vedel rozlíšiť jedno od druhého.

Prompty držte v súboroch vo svojom kódovom repozitári, aby boli verzované a kontrolovateľné ako akýkoľvek iný kód.

Ako udržať náklady pod kontrolou

LLM API účtujú podľa tokenov — malých kúskov textu — za to, čo pošlete, aj za to, čo sa vráti. Náklady rastú s množstvom kontextu v každej požiadavke vynásobeným tým, ako často beží. Praktické kontroly:

• Posielajte len to, čo treba. Posledných 20 poznámok, nie celú históriu. Dlhé dokumenty skráťte alebo rozdeľte.
• Použite najmenší model, ktorý úlohu zvládne. Pred predvolením najväčšieho modelu otestujte.
• Obmedzte dĺžku výstupu nastavením maximálneho počtu tokenov v API.
• Ukladajte výsledky do cache. Zhrnutie uložte a znova generujte len vtedy, keď sa zmení zdroj, namiesto pri každom zobrazení stránky.
• Obmedzte na používateľa. Denný limit na účet alebo plán zabráni tomu, aby jeden náročný používateľ alebo jeden skript vyhnal účet do výšky.
• Obmedzte rýchlosť koncového bodu ako akúkoľvek inú drahú trasu.
• Nastavte rozpočet alebo upozornenie v dashboarde poskytovateľa a po spustení kontrolujte používanie každý týždeň.
• Zaznamenávajte spotrebu tokenov pre každú funkciu, aby ste vedeli, ktorá čo stojí.

Ak sú AI funkcie jadrom vášho produktu, zarátajte ich bežiace náklady do cenotvorby, namiesto toho, aby ste ich absorbovali.

Bezpečnosť a dôvera

Výstup AI je pravdepodobnostný. Môže byť nesprávny a pritom znieť presvedčivo a dá sa ním riadiť aj text, ktorý číta. Na to stavajte:

• Považujte výstup za nedôveryhodný vstup. Overujte štruktúru, pred vykreslením ako HTML ho escapujte a nikdy ho nespúšťajte ako kód ani ako databázový dotaz.
• Nechajte človeka v procese pri všetkom, čo má dôsledky — odoslanie e-mailu, zmena záznamu, vrátenie platby. Model navrhne, osoba potvrdí.
• Chráňte sa pred prompt injection. Dokument alebo správa môže obsahovať text ako „ignoruj svoje pokyny“. Obmedzte, čo model vidí, na to, čo smie vidieť aktuálny používateľ, a nedávajte mu nástroje, ktoré môžu vykonať citlivé akcie bez toho, aby váš kód najprv skontroloval oprávnenia.
• Označte AI obsah, aby používatelia vedeli, že zhrnutie alebo návrh vygeneroval AI a môžu ho skontrolovať.
• Elegantne riešte zlyhania. Poskytovatelia majú výpadky a rate limity. Nastavte časové limity, zobrazte jasnú správu a nechajte zvyšok aplikácie fungovať ďalej.
• Sledujte, čo používatelia posielajú. Pri otvorených textových vstupoch zvážte krok moderovania a vo svojich zásadách ochrany súkromia jasne uveďte, že obsah spracováva tretí poskytovateľ AI.

Širší zoznam kontrol nájdete v bezpečnostnom kontrolnom zozname pre aplikácie stavané s AI.

Bežné chyby

• Začať s všeobecným chatbotom, keď by jedno tlačidlo „Zhrnúť“ alebo „Kategorizovať“ pomohlo viacerým ľuďom.
• Kľúč vo frontend kóde alebo vo verejnom repozitári.
• Posielanie celej databázy ako kontextu, čo je pomalé, drahé a hrozí únikom dát iných používateľov.
• Dôverovanie voľnému textu tam, kde by schéma alebo pevná množina štítkov umožnili kontrolu.
• Žiadne limity na používateľa, ktoré sa zistia, až keď príde prvá faktúra.

Pridávanie AI funkcií s Mythexom

V Mythexe pridáte AI do vlastnej aplikácie tak, že o to požiadate v chate, pričom použijete svoj vlastný kľúč poskytovateľa. Kľúč uložte ako tajomstvo projektu — keď ho agent potrebuje, Mythex zobrazí v chate kartu s tajomstvom, takže kľúč nemusíte vkladať do konverzácie — a agent napíše serverovú trasu, prompty a používateľské rozhranie. Používanie AI vo vašej aplikácii účtuje váš poskytovateľ, oddelene od kreditov Mythexu, ktoré míňate pri tvorbe. Príklad štartovacieho promptu nájdete v dokumentácii v pridanie AI funkcií s vlastnými API kľúčmi.

Otázky