Kaip naudoti LLM API: žetonai, kainos, raktai ir pirmoji DI funkcija

LLM API yra interneto paslauga, leidžianti jūsų programėlei siųsti tekstą didelio kalbos modelio — pavyzdžiui OpenAI GPT modelių, Anthropic Claude ar Google Gemini — ir gauti jo atsakymą kode. Užsiregistruojate pas teikėją, sukuriate API raktą, o jūsų programėlės serveris siunčia užklausas su tuo raktu; už kiekvieną užklausą mokate pagal žetonų (teksto dalių) kiekį, kuris įeina ir išeina. Tai ir yra viskas, ką paprastai reiškia „DI pridėjimas į programėlę“: gerai parašyta užklausa kito žmogaus modeliui, saugiai siunčiama iš jūsų serverio.

Kodėl tai svarbu kuriant su DI

DI sukurtoje programėlėje yra du skirtingi DI, ir lengva juos supainioti:

1. DI, kuris kuria jūsų programėlę — programėlių kūrimo įrankio agentas, rašantis kodą.
2. DI jūsų programėlės viduje — funkcija, kuria naudojasi jūsų naudotojai, pavyzdžiui pokalbių asistentas, mygtukas „apibendrink tai“ ar automatinis žymėjimas.

Antrasis kviečia LLM API jūsų raktu ir apmoka jūsų teikėjo sąskaitą. Žetonų, konteksto ir kainodaros supratimas leidžia suprojektuoti funkciją, kuri veikia, neatskleidžia jūsų rakto ir nenustebina sąskaita.

Kasdienė analogija: labai gabus laisvai samdomas rašytojas, mokamas už žodį

Įsivaizduokite LLM API kaip puikų laisvai samdomą rašytoją, su kuriuo susisiekiate el. paštu ir mokate už žodį — tiek už žodžius, kuriuos siunčiate, tiek už tuos, kuriuos jis atsiunčia atgal (ir žodžiai, kuriuos jis rašo, kainuoja brangiau).

• Tarp laiškų jis neturi atminties. Jei norite, kad tęstų pokalbį, į kiekvieną naują laišką įklijuojate ankstesnes žinutes.
• Vienu metu jis gali perskaityti tik tiek. Ta riba yra konteksto langas.
• Kuo aiškesnis jūsų nurodymas, tuo geresnis ir trumpesnis atsakymas — o tai ir pigiau.

Pagrindinės sąvokos

Žetonai

Modeliai skaito ir rašo tekstą žetonais. Anthropic kainodaros dokumentacija nuo 2026 m. rugsėjo įvertina apie 4 simbolius, arba apie 0,75 anglų kalbos žodžio, vienam žetonui. Skirtingi modeliai ir kalbos skaido tekstą skirtingai, todėl tai laikykite apytiksliu orientyru. Skaičiuojama viskas: jūsų instrukcijos, naudotojo žinutė, visi įtraukti dokumentai, ankstesnis pokalbis ir atsakymas.

Įvestis ir išvestis

Įvesties žetonai yra tai, ką siunčiate. Išvesties žetonai yra tai, ką rašo modelis. OpenAI, Anthropic ir Google kainų puslapiuose nuo 2026 m. rugsėjo išvesties žetonai tam pačiam modeliui kainuoja kelis kartus daugiau nei įvesties. Google Gemini kainodara taip pat nurodo, kad vidinis modelio „mąstymas“ skaičiuojamas kaip išvestis.

Konteksto langas

Didžiausias žetonų skaičius, kurį modelis gali priimti vienoje užklausoje, įskaitant atsakymą. Šiuolaikiniai modeliai priima labai ilgas įvestis — kai kurie dabartiniai Anthropic modeliai, pavyzdžiui, priima iki milijono žetonų. Tačiau ilgos įvestys kainuoja daugiau ir užtrunka ilgiau, todėl siųskite tik tai, ko reikia užduočiai.

Bevalstybės užklausos

Daugumoje pokalbių tipo API kiekviena užklausa pagal numatytuosius nustatymus yra savarankiška. Kad pokalbis „prisimintų“, jūsų programėlė su kiekviena nauja žinute iš naujo siunčia ankstesnes. Todėl ilgas pokalbis kiekvienai žinutei kainuoja daugiau nei trumpas.

Sisteminė užklausa

Instrukcijos, nustatančios modelio vaidmenį ir taisykles kiekvienai užklausai: „Tu apibendrini palaikymo prašymus trimis punktais. Niekada neįtrauk klientų el. pašto adresų.“ Naudotojai jos nemato, bet ji formuoja kiekvieną atsakymą.

Srautinis perdavimas

Vietoj laukimo, kol bus gautas visas atsakymas, API gali siųsti tekstą, kai jis generuojamas, todėl naudotojai iš karto mato žodžius. Tai pokalbio sąsajas daro gerokai greitesnes.

Kaip veikia kainodara

Nuo 2026 m. rugsėjo, patikrinta teikėjų kainų puslapiuose:

Kai kurie teikėjai taip pat siūlo galimybę išbandyti prieš mokant: Anthropic naujiems naudotojams suteikia nedidelį nemokamą kreditą, o Google Gemini API kai kuriems modeliams turi nemokamą planą, su įspėjimu, kad turinys, siunčiamas jo metu, gali būti naudojamas Google produktams tobulinti.

Mažųjų, greitų teikėjo modelių ir didžiausių jo modelių kainos labai skiriasi, be to, jos dažnai keičiasi, todėl čia jų nenurodome. Paprastas bet kokios funkcijos įvertinimas yra: (įvesties žetonai × įvesties kaina + išvesties žetonai × išvesties kaina) × užklausų skaičius per mėnesį. Tada pridėkite maržą ir nustatykite mėnesio išlaidų limitą teikėjo valdymo skydelyje.

Darbo pavyzdys: mygtukas „apibendrink šį prašymą“

Nedidelė palaikymo komanda nori mygtuko, kuris ilgą klientų el. laiškų giją paverčia į tris punktus ir siūlomą atsakymą.

1. Gaukite raktą. Susikurkite paskyrą pas vieną teikėją ir sugeneruokite API raktą. Nustatykite mažą mėnesio išlaidų limitą.
2. Išsaugokite raktą kaip paslaptį savo serveryje, pavadintą pvz. ANTHROPIC_API_KEY ar OPENAI_API_KEY — niekada puslapio kode. Žr. aplinkos kintamuosius ir paslaptis.
3. Pridėkite serverio maršrutą, POST /api/summarise, kuris:
   • patikrina, ar asmuo prisijungęs ir priklauso palaikymo komandai;
   • įkelia prašymą iš duomenų bazės;
   • teikėjui siunčia sisteminę užklausą („Apibendrink trimis punktais, tada parašyk mandagų atsakymo projektą; neišgalvok užsakymo numerių“) ir prašymo tekstą;
   • riboja atsakymo ilgį nustatymu maksimalus išvesties žetonai;
   • grąžina rezultatą ir įrašo, kiek žetonų sunaudota.
4. Mygtukas kviečia jūsų maršrutą, o ne teikėją, ir rodo apibendrinimą, kol jis srautu ateina.
5. Tvarkykite gedimus. Jei teikėjas lėtas arba grąžina klaidą, rodykite „Šiuo metu nepavyko apibendrinti“ ir palikite prašymą naudojamą.
6. Matuokite. Po savaitės pažiūrėkite žetonų žurnalus. Jei didžioji išlaidų dalis tenka ilgoms laiškų gijoms, prieš siuntimą apkarpykite citatų istoriją.

Pastebėkite, ko trūksta: modelio treniravimo, specialios infrastruktūros. Vienas raktas, vienas serverio maršrutas, vienas gerai parašytas nurodymas.

Pagrindiniai terminai

• API raktas: paslaptis, kuri nurodo jūsų paskyrą teikėjui. Kas jį turi, gali išleisti jūsų pinigus.
• Modelis: konkretus LLM, kurį kviečiate. Teikėjai siūlo kelis dydžius skirtingomis kainomis ir greičiais.
• Temperatūra: nustatymas, kaip įvairūs yra atsakymai. Mažesnė reikšmė — nuspėjamesni atsakymai.
• Maksimalūs žetonai: atsakymo ilgio riba, kuri kartu riboja ir kainą.
• Greičio limitas: kiek užklausų ar žetonų jūsų paskyra gali naudoti per minutę.
• Įterpimai (embeddings): skaičiai, atspindintys teksto reikšmę; naudojami ieškant jūsų pačių dokumentuose.
• RAG (retrieval-augmented generation): atitinkamų ištraukų iš jūsų duomenų paieška ir įtraukimas į užklausą, kad modelis atsakytų remdamasis jūsų turiniu.
• Įrankių naudojimas / funkcijų kvietimas: leidimas modeliui paprašyti jūsų programėlės paleisti konkrečią funkciją, pavyzdžiui „patikrink užsakymo būseną“.

Dažnos klaidos ir klaidingos nuomonės

• Rakto įdėjimas į frontend kodą. Brangiausia klaida. Naršyklės kodas yra viešas. Visada kvieskite iš serverio. Saugumo kontrolinis sąrašas DI sukurtoms programėlėms apima tai kartu su kitais paleidimo patikrinimais.
• Nėra išlaidų limito ar naudotojui skirtų ribų. Klaida, ciklas ar piktnaudžiaujantis naudotojas gali greitai padidinti išlaidas. Nustatykite teikėjo limitą ir ribokite užklausas kiekvienam naudotojui savo programėlėje.
• Viso siuntimas kiekvieną kartą. Visi dokumentai ir pilna pokalbių istorija padaugina įvesties žetonus. Apkarpykite, apibendrinkite senesnes žinutes arba gaukite tik aktualias dalis.
• Išvesties akliarodis pasitikėjimas. Modeliai gali drąsiai teigti klaidingus dalykus. Faktams, kainoms ar bet kam teisiniu ar medicininiu klausimu pagrįskite atsakymus savo duomenimis ir rodykite šaltinius arba tegul patikrina žmogus.
• Leidimas naudotojo įvesčiai pakeisti jūsų taisykles. Naudotojai gali įrašyti „ignoruok savo instrukcijas“. Leidimus ir jautrius veiksmus laikykite serverio kode, o ne tik užklausoje.
• Pradžia nuo didžiausio modelio. Pirmiausia išbandykite mažesnį, pigesnį modelį; kelkitės aukštyn tik tada, jei kokybės to reikia.
• Asmens duomenų siuntimas negalvojant. Patikrinkite teikėjo duomenų naudojimo sąlygas, ypač nemokamuose planuose, ir siųskite tik tai, ko funkcijai reikia.

Ko prašyti savo DI kūrimo įrankio

Pridėk mygtuką „Summarise“ prašymo puslapyje. Jis kviečia serverio maršrutą, kuris naudoja paslaptį OPENAI_API_KEY (niekada neatskleidžiamą naršyklei), patikrina, ar naudotojas prisijungęs, siunčia prašymo tekstą su šia sistemine užklausa: […], riboja atsakymą 300 žetonų, perduoda atsakymą į puslapį srautu ir rodo draugišką klaidą, jei kvietimas nepavyksta. Įrašyk kiekvienai užklausai sunaudotus žetonus ir riboki kiekvienam naudotojui 30 apibendrinimų per valandą.

Pilnai pokalbio patirčiai žr. kaip sukurti DI pokalbių roboto programėlę; kitoms idėjoms — kaip pridėti DI funkcijas į savo programėlę. Jei API apskritai nauja, pradėkite nuo kas yra API.

LLM API programėlėse, sukurtose su Mythex

Kurdami su Mythex, DI jūsų programėlės viduje naudoja jūsų pačių teikėjo raktą. Pridedate jį kaip projekto paslaptį arba per paslapčių kortelę, kurią Mythex rodo pokalbyje, kai jos reikia, ir prašote agento atlikti kvietimą serveryje. Teikėjo naudojimas apmokamas jūsų teikėjo sąskaitai, o ne Mythex kūrimo kreditams. Mythex neįtraukia žetonų jūsų programėlės naudotojams ar įmontuoto žinių bazės produkto, o greičio limitus ir išlaidų kontrolę turite suprojektuoti ir išbandyti patys. Dokumentacijos receptas pridėti DI funkcijas naudojant savo API raktus turi pradinę užklausą, o DI programėlių kūrimo įrankio puslapis parodo, nuo ko pradėti.

Klausimai