Jak přidat AI funkce do aplikace

AI funkce do aplikace přidáte tak, že z vašeho serveru zavoláte API velkého jazykového modelu (LLM): pošlete mu jasné pokyny a relevantní data a použijete to, co se vrátí. Většina užitečných funkcí spadá do čtyř vzorů: shrnování, chat, extrakce strukturovaných dat a klasifikace. Každý z nich je několik desítek řádků kódu, které vám může napsat AI nástroj pro tvorbu aplikací. O tom, zda bude funkce za něco stát, ale rozhoduje práce kolem volání: držení API klíče na serveru, kontrola nákladů na uživatele a kontrola výstupu, než mu začnete věřit.

Čtyři vzory, na kterých stojí většina AI funkcí

Extrakce a klasifikace bývají nejcennější a zároveň nejméně vidět. Tiše ušetří někomu pár minut u každého záznamu a protože výstup má pevný tvar, lze ho automaticky ověřit. Chat je nejviditelnější, ale nejtěžší správně udělat a má vlastního průvodce: jak postavit aplikaci s AI chatbotem.

Jak to zapadá do vaší aplikace

Každý vzor má stejný tvar:

1. Uživatel jedná: klikne na „Shrnout“, nahraje soubor, odešle zprávu.
2. Frontend volá váš vlastní server, nikoli poskytovatele AI.
3. Server sestaví požadavek: systémové pokyny, vstup uživatele a případná data z databáze, ale jen taková, která tento uživatel smí vidět.
4. Server zavolá LLM API s klíčem uloženým v proměnné prostředí.
5. Server zkontroluje odpověď: platný JSON, známý štítek, rozumná délka. Pak ji uloží nebo vrátí.
6. Frontend ji zobrazí, u delších odpovědí postupně, jak přichází.

Klíč je na serveru v kroku 4 a do prohlížeče se nikdy nedostane. Pokud je pojem API nový, co je API je krátký úvod a jak používat LLM API podrobněji vysvětluje tokeny, modely a klíče.

Výběr poskytovatele a modelu

Hlavní poskytovatelé, tedy OpenAI, Anthropic, Google a další, nabízejí textová API s podobným tvarem. Při výběru se hodí tyto otázky:

• Kvalita pro váš úkol. Vyzkoušejte několik reálných příkladů z vaší aplikace na dvou nebo třech modelech. Rozdíly jsou na vašich datech často čitelnější než v obecných benchmarcích.
• Velikost versus cena. Poskytovatelé nabízejí větší, schopnější modely a menší, levnější a rychlejší. Klasifikace a jednoduchou extrakci často zvládne malý model; dlouhé uvažování nebo náročné psaní může vyžadovat větší.
• Strukturovaný výstup. Pro extrakci a klasifikaci dávejte přednost funkci API, která vrátí JSON podle vámi zadaného schématu, před parsováním volného textu.
• Práce s daty. Přečtěte si podmínky poskytovatele, zda se vstupy ukládají nebo používají k trénování, a zda to odpovídá datům, která vám uživatelé svěřují.
• Limity. Nové účty mívají nižší rate limity; před spuštěním je zkontrolujte.

Názvy modelů a ceny se často mění, proto má kód číst název modelu z konfigurace a nemá ho natvrdo zapsaný na mnoha místech.

Přidání funkce krok za krokem

Vezměme konkrétní příklad: malé CRM, kde má každý kontakt dlouhou historii poznámek.

1. Uložte klíč. Vytvořte klíč v panelu poskytovatele a uložte ho jako tajný údaj na serveru, například OPENAI_API_KEY nebo ANTHROPIC_API_KEY.

2. Požádejte o jednu úzkou funkci:

Přidej na stránku kontaktu tlačítko „Shrnout“. Na serveru pošli posledních 20 poznámek kontaktu poskytovateli [PROVIDER] s použitím tajného údaje [ENV_NAME] a pokyny, aby napsal tři odrážky: aktuální stav, otevřené otázky a další krok. Zahrň jen poznámky, které přihlášený uživatel smí vidět. Zobraz stav načítání, shrnutí ulož s časovou značkou a při selhání zobraz „Teď to nejde shrnout“. Klíč nikdy neposílej do prohlížeče.

3. Přidejte extrakci tam, kde ušetří psaní:

Když uživatel vloží e-mailový podpis do pole „Rychlé přidání“, zavolej na serveru poskytovatele [PROVIDER] a vrať JSON s jménem, firmou, pracovní pozicí, e-mailem a telefonem pomocí funkce strukturovaného výstupu poskytovatele. JSON na serveru zvaliduj, předvyplň jím formulář nového kontaktu a nech uživatele před uložením upravit. Prázdná pole nechte prázdná, nehádejte.

Důležité je, že „nechat uživatele upravit před uložením“. Model navrhuje, člověk rozhoduje.

4. Klasifikujte na pozadí:

Když přijde nový tiket podpory, zařaď ho přesně do jedné z těchto kategorií: fakturace, chyba, žádost o funkci, přístup k účtu, jiné. Použij malý, levný model. Pokud odpověď není jedním z těchto štítků, ulož „jiné“. Štítek zobraz jako upravitelný tag.

5. Otestujte na reálných, neuspořádaných datech: dlouhé poznámky, prázdné poznámky, jiné jazyky, podpis bez telefonního čísla. Než to nasadíte, projděte dvacet výstupů vedle sebe.

Jak psát pokyny, které fungují

Pokyny, které posíláte s každým požadavkem (často nazývané systémový prompt), jsou místem, kde vzniká kvalita.

• Řekněte, pro koho to je a co je dobrý výsledek. „Shrnutí čte obchodník za 10 sekund před hovorem“ dává modelu cíl.
• Pevně nastavte formát. Přesný počet odrážek, limit délky, pole, štítky.
• Řekněte, co dělat, když si model není jistý. „Pokud poznámky nezmiňují další krok, napiš ‚Žádný další krok není zaznamenán‘.“ To omezuje vymyšlené odpovědi.
• Dejte dva nebo tři příklady dobrého vstupu a výstupu u extrakce a klasifikace.
• Oddělte pokyny od obsahu uživatele a obsah uživatele jasně označte, aby je model dokázal rozlišit.

Prompty držte v souborech ve svém kódu, aby byly verzované a přezkoumatelné stejně jako jakýkoli jiný kód.

Držení nákladů pod kontrolou

LLM API účtuje podle tokenů, tedy malých částí textu, a to za to, co odešlete, i za to, co se vrátí. Náklady rostou s množstvím kontextu v každém požadavku, násobeným tím, jak často běží. Praktické kontroly:

• Posílejte jen to, co je potřeba. Posledních 20 poznámek, ne celou historii. Dlouhé dokumenty zkraťte nebo rozdělte.
• Použijte nejmenší model, který úkol zvládne. Než sáhnete po největším, vyzkoušejte menší.
• Omezte délku výstupu nastavením maximálního počtu tokenů v API.
• Ukládejte výsledky do mezipaměti. Shrnutí si uložte a přegenerujte jen tehdy, když se změní zdroj, místo abyste ho generovali při každém zobrazení stránky.
• Omezte na uživatele. Denní limit na účet nebo tarif zabrání, aby jeden náročný uživatel nebo jeden skript vyžral účet.
• Omezte rychlost endpointu stejně jako jakoukoli jinou drahou trasu.
• Nastavte rozpočet nebo upozornění v panelu poskytovatele a po spuštění kontrolujte využití každý týden.
• Sledujte spotřebu tokenů podle funkce, abyste věděli, která stojí kolik.

Pokud jsou AI funkce pro váš produkt zásadní, zahrňte jejich provozní náklady do ceny, místo abyste je nesli sami.

Bezpečnost a důvěra

Výstup AI je pravděpodobnostní. Může být špatný a přitom znít sebejistě a může ho ovlivnit text, který čte. Stavte na tom:

• Výstup berte jako nedůvěryhodný vstup. Ověřte strukturu, před vykreslením jako HTML ho ošetřete proti vkládání kódu a nikdy ho nespouštějte jako kód ani jako databázový dotaz.
• Ponechte člověka v procesu u všeho, co má následky: odeslání e-mailu, změna záznamu, vrácení platby. Model připraví návrh, člověk to potvrdí.
• Chraňte se před prompt injection. Dokument nebo zpráva může obsahovat text typu „ignoruj své pokyny“. Omezte, co model vidí, na to, co smí vidět aktuální uživatel, a nedávejte mu nástroje, které mohou provést citlivé akce bez toho, aby váš kód nejdřív zkontroloval oprávnění.
• Označte obsah generovaný AI, aby uživatelé věděli, že shrnutí nebo návrh vznikl automaticky a mohou ho ověřit.
• Zvládněte selhání elegantně. Poskytovatelé mají výpadky a limity. Nastavte časové limity, ukažte jasnou zprávu a nechte zbytek aplikace fungovat dál.
• Sledujte, co uživatelé posílají. U volných textových vstupů zvažte krok moderace a ve svých zásadách ochrany osobních údajů jasně uveďte, že obsah zpracovává externí poskytovatel AI.

Širší seznam kontrol najdete v bezpečnostním checklistu pro aplikace postavené pomocí AI.

Časté chyby

• Začít s obecným chatbotem, když by víc lidí pomohlo jediné tlačítko „Shrnout“ nebo „Zařadit“.
• Klíč ve frontendovém kódu nebo ve veřejném repozitáři.
• Posílání celé databáze jako kontextu, což je pomalé, drahé a hrozí únikem dat jiných uživatelů.
• Důvěra volnému textovému výstupu tam, kde by schéma nebo pevná sada štítků umožnila výstup ověřit.
• Žádné limity na uživatele, které se objeví až s prvním vyúčtováním.

Přidání AI funkcí v Mythexu

V Mythexu přidáte AI do své aplikace tak, že o ni požádáte v chatu s vlastním klíčem poskytovatele. Klíč uložíte jako tajný údaj projektu. Když ho agent potřebuje, Mythex ukáže v chatu kartu s tajnými údaji, takže klíč nemusíte vkládat do konverzace. Agent pak napíše serverovou trasu, prompty a rozhraní. Využití AI ve vaší aplikaci účtuje váš poskytovatel, odděleně od kreditů Mythexu, které utrácíte za stavění. Startovací prompt najdete v dokumentaci v článku přidání AI funkcí s vlastními API klíči.

Otázky