Paano Gamitin ang LLM APIs: Tokens, Gastos, Keys at ang Unang AI Feature Mo

Ang LLM API ay web service na nagpapahintulot sa app mo na magpadala ng teksto sa isang large language model, gaya ng GPT models ng OpenAI, Claude ng Anthropic, o Gemini ng Google, at makuha ang sagot nito sa code. Nagre-sign up ka sa provider, gumawa ng API key, at nagpapadala ang server ng app mo ng requests gamit ang key na iyon; sinisingil ka sa bawat request ayon sa bilang ng tokens (mga piraso ng teksto) na pumapasok at lumalabas. Iyon lang ang karaniwang ibig sabihin ng "pagdagdag ng AI sa app": isang maayos na request sa model ng iba, na ipinadala nang ligtas mula sa server mo.

Bakit ito mahalaga kapag gumagawa ka gamit ang AI

May dalawang magkaibang AI sa isang app na ginawa ng AI, at madaling magkahalo ang dalawa:

1. Ang AI na gumagawa ng app mo: ang sariling agent ng app builder, na sumusulat ng code.
2. Ang AI sa loob ng app mo: feature na ginagamit ng mga user mo, gaya ng chat assistant, button na "summarise this", o awtomatikong pag-tag.

Ang ikalawa ay tumatawag sa LLM API gamit ang iyong key at sinisingil ang iyong provider account. Ang pag-unawa sa tokens, context at pricing ang nagpapahintulot sa iyong magdisenyo ng feature na gumagana, hindi naglalabas ng key mo, at hindi ka sosorpresahin ng bill.

Isang halimbawang analohiya: mahusay na freelancer na binabayaran ayon sa salita

Isipin ang LLM API bilang isang magaling na freelance writer na kinokontak mo sa email at binabayaran ayon sa salita, pareho para sa mga salitang ipinapadala mo at sa mga salitang isinusulat nila pabalik (at mas mahal ang mga salitang isinusulat nila).

• Wala silang memorya sa pagitan ng mga email. Kung gusto mong magpatuloy ang usapan, idinidikit mo ang mga naunang mensahe sa bawat bagong email.
• Hanggang sa tiyak na dami lang ang kaya nilang basahin nang sabay. Ang limitasyong iyon ay ang context window.
• Kung mas malinaw ang brief mo, mas maganda at mas maikli ang sagot, at mas mura rin.

Mga pangunahing konsepto

Tokens

Nagbabasa at nagsusulat ang models sa tokens. Tinatantiya ng pricing documentation ng Anthropic na mga 4 na character, o humigit-kumulang 0.75 na salitang Ingles, ang bawat token simula Setyembre 2026. Magkakaiba ang tokenization ng bawat model at wika, kaya gamitin ito bilang magaspang na gabay. Lahat ay binibilang: ang mga instruksyon mo, ang mensahe ng user, anumang dokumentong isinama mo, ang naunang usapan, at ang sagot.

Input at output

Input tokens ang ipinapadala mo. Output tokens ang isinusulat ng model. Sa pricing pages ng OpenAI, Anthropic at Google, simula Setyembre 2026, ang output tokens ay ilang beses na mas mahal kaysa input tokens para sa parehong model. Sinasabi rin ng pricing ng Gemini ng Google na ang panloob na "thinking" ng model ay binibilang bilang output.

Context window

Ang pinakamaraming tokens na kayang tanggapin ng model sa iisang request, kasama ang sagot. Tumatanggap na ng napakahabang input ang mga modernong model. Halimbawa, ang ilan sa kasalukuyang models ng Anthropic ay tumatanggap ng hanggang isang milyong tokens. Pero mas mahal at mas matagal ang mahabang input, kaya ipadala lang ang kailangan ng gawain.

Stateless na requests

Sa karamihan ng chat-style na API, bawat request ay nakatayo mag-isa bilang default. Para "maalala" ng chat, ipinapadala ulit ng app mo ang mga naunang mensahe sa bawat bagong mensahe. Kaya mas mahal ang bawat mensahe sa mahabang usapan kaysa sa maikli.

System prompt

Mga instruksyong nagtatakda ng papel at tuntunin ng model para sa bawat request: "Bubuod ka ng support tickets sa tatlong bullet points. Huwag kailanman isama ang email address ng customer." Hindi ito nakikita ng mga user, pero hinuhubog nito ang bawat sagot.

Streaming

Sa halip na maghintay sa buong sagot, puwedeng ipadala ng API ang teksto habang ginagawa ito, kaya agad na lumalabas ang mga salita sa user. Mas mabilis ang pakiramdam ng chat interface dahil dito.

Paano gumagana ang pricing

Simula Setyembre 2026, tiningnan sa mismong pricing pages ng mga provider:

May ilang provider ding nag-aalok ng paraan para subukan muna bago magbayad: binibigyan ng Anthropic ang mga bagong user ng maliit na libreng credit, at may free tier ang Gemini API ng Google para sa ilang models, na may babala na maaaring gamitin ng Google ang nilalamang ipinadala rito para pagandahin ang kanilang mga produkto.

Iba-iba nang malaki ang presyo sa pagitan ng maliliit at mabilis na models ng isang provider at ng pinakamalalaki nila, at madalas magbago ang mga ito, kaya hindi namin ilalagay dito ang eksaktong presyo. Simpleng pagtantiya para sa anumang feature ay: (input tokens × presyo ng input + output tokens × presyo ng output) × bilang ng requests kada buwan. Saka magdagdag ng margin, at magtakda ng buwanang spending limit sa dashboard ng provider.

Halimbawang gawa: button na "summarise this ticket"

Gusto ng isang maliit na support team ng button na gagawing tatlong bullet points at iminumungkahing sagot ang mahabang email thread ng customer.

1. Kumuha ng key. Gumawa ng account sa isang provider at mag-generate ng API key. Magtakda ng mababang buwanang spending limit.
2. I-store ang key bilang secret sa server mo, may pangalang gaya ng ANTHROPIC_API_KEY o OPENAI_API_KEY, hindi kailanman sa code ng page. Tingnan ang environment variables at secrets.
3. Magdagdag ng server route, POST /api/summarise, na:
   • sinusuri kung naka-log in ang tao at kabilang sa support team;
   • kinukuha ang ticket mula sa database;
   • nagpapadala sa provider ng system prompt ("Summarise in three bullets, then draft a polite reply; don't invent order numbers") kasama ang teksto ng ticket;
   • nililimitahan ang haba ng sagot gamit ang maximum output tokens setting;
   • ibinabalik ang resulta at nilolog kung ilang tokens ang nagamit.
4. Ang button ay tumatawag sa route mo, hindi sa provider, at ipinapakita ang summary habang dumarating ito.
5. Hawakan ang pagkabigo. Kung mabagal ang provider o magbalik ng error, ipakita ang "Hindi maisummarise ngayon" at panatilihing magagamit ang ticket.
6. Sukatin. Pagkatapos ng isang linggo, tingnan ang token logs. Kung karamihan ng gastos ay galing sa mahahabang email thread, putulin muna ang quoted history bago ipadala.

Pansinin kung ano ang wala: walang model training, walang espesyal na imprastraktura. Isang key, isang server route, isang maayos na prompt.

Mga mahalagang termino

• API key: ang secret na nagpapakilala ng account mo sa provider. Sinumang may hawak nito ay puwedeng gumastos ng pera mo.
• Model: ang partikular na LLM na tinatawagan mo. Nag-aalok ang mga provider ng ilang laki sa magkakaibang presyo at bilis.
• Temperature: setting para sa pagkakaiba-iba ng mga sagot. Mas mababa, mas predictable.
• Max tokens: limitasyon sa haba ng sagot, na nililimitahan din ang gastos.
• Rate limit: ilang requests o tokens ang maaaring gamitin ng account mo kada minuto.
• Embeddings: mga numerong kumakatawan sa kahulugan ng teksto, ginagamit sa paghahanap sa sarili mong dokumento.
• RAG (retrieval-augmented generation): paghahanap ng kaugnay na bahagi mula sa sarili mong data at pagsama nito sa prompt, para ang model ay sumagot mula sa sarili mong nilalaman.
• Tool use / function calling: pagpapahintulot sa model na hilingin sa app mo na patakbuhin ang isang partikular na function, gaya ng "tingnan ang order status".

Mga karaniwang pagkakamali at maling akala

• Paglalagay ng key sa frontend code. Ito ang pinakamahal na pagkakamali. Pampubliko ang browser code. Laging tumawag mula sa server. Sakop ito ng security checklist para sa app na ginawa ng AI kasama ng iba pang launch checks.
• Walang spending limit o per-user limit. Ang isang bug, loop, o abusadong user ay mabilis makapagpalobo ng gastos. Magtakda ng limit sa provider at limitahan ang requests kada user sa app mo.
• Pagpapadala ng lahat sa bawat pagkakataon. Ang buong dokumento at kumpletong chat history ay nagpaparami ng input tokens. Putulin, buodin ang mas lumang mensahe, o kunin lang ang kaugnay na bahagi.
• Pagtitiwala nang bulag sa output. Maaaring magsabi nang mali ang models nang buong kumpiyansa. Para sa mga katotohanan, presyo, o anumang legal o medikal, ibase ang sagot sa sarili mong data at ipakita ang sources, o may taong magsuri.
• Hinahayaang i-override ng input ng user ang mga tuntunin mo. Puwedeng i-type ng mga user ang "ignore your instructions". Itago ang permissions at sensitibong aksyon sa server code, hindi lang sa prompt.
• Pagsisimula sa pinakamalaking model. Subukan muna ang mas maliit at mas murang model; umakyat lang kung kailangan ng kalidad.
• Pagpapadala ng personal na data nang walang pag-iisip. Suriin ang data-use terms ng provider, lalo na sa free tiers, at ipadala lang ang kailangan ng feature.

Ano ang ipahihiling sa AI builder mo

Magdagdag ng button na "Summarise" sa ticket page. Tumatawag ito sa server route na gumagamit ng secret na OPENAI_API_KEY (hindi kailanman nakalantad sa browser), sinusuri na naka-log in ang user, ipinapadala ang teksto ng ticket kasama ang system prompt na ito: […], nililimitahan ang sagot sa 300 tokens, ini-stream ang sagot sa page, at nagpapakita ng magiliw na error kapag pumalya ang tawag. I-log ang tokens na nagamit kada request, at limitahan ang bawat user sa 30 summaries kada oras.

Para sa buong karanasan ng chat, tingnan ang paano gumawa ng AI chatbot app; para sa iba pang ideya, paano magdagdag ng AI features sa app mo. Kung bago pa sa iyo ang mga API sa pangkalahatan, magsimula sa ano ang API.

LLM APIs sa mga app na ginawa gamit ang Mythex

Kapag gumagawa ka gamit ang Mythex, ang AI sa loob ng app mo ay gumagamit ng sarili mong provider key. Idinadagdag mo ito bilang project secret, o sa pamamagitan ng secrets card na ipinapakita ng Mythex sa chat kapag kailangan ito, at hinihiling mong gawin ng agent ang tawag sa server. Sa provider account mo sinisingil ang paggamit ng provider, hindi sa Mythex build credits. Hindi nagbibigay ang Mythex ng tokens para sa mga user ng app mo, at wala itong built-in na knowledge-base product; ikaw ang nagdidisenyo at sumusubok ng rate limits at cost controls. Nasa docs recipe na add AI features with your own API keys ang starter prompt, at ipinapakita ng AI app builder page kung saan magsisimula.

Mga tanong