LLM APIs ఎలా ఉపయోగించాలి: టోకెన్లు, ఖర్చులు, కీలు మరియు మీ మొదటి AI ఫీచర్

LLM API అనేది మీ యాప్ టెక్స్ట్‌ను ఒక పెద్ద భాషా మోడల్‌కు — ఉదాహరణకు OpenAI యొక్క GPT మోడల్స్, Anthropic యొక్క Claude, లేదా Google యొక్క Gemini — పంపి, దాని సమాధానాన్ని కోడ్‌లో తిరిగి పొందడానికి అనుమతించే వెబ్ సర్వీస్. మీరు ప్రొవైడర్‌తో సైన్ అప్ చేసి API కీ సృష్టిస్తారు, మరియు మీ యాప్ సర్వర్ ఆ కీతో అభ్యర్థనలు పంపుతుంది; ప్రతి అభ్యర్థనకు లోపలికి మరియు బయటకు వచ్చే టోకెన్ల (టెక్స్ట్ భాగాల) సంఖ్యను బట్టి బిల్ చేస్తారు. "యాప్‌కు AI జోడించడం" అంటే సాధారణంగా ఇదే: వేరొకరి మోడల్‌కు బాగా రాసిన అభ్యర్థన, మీ సర్వర్ నుండి సురక్షితంగా.

AI తో నిర్మించేటప్పుడు ఇది ఎందుకు ముఖ్యం

AI తో నిర్మించిన యాప్‌లో రెండు వేర్వేరు AI లు ఉంటాయి, వాటిని కలపడం సులభం:

1. మీ యాప్‌ను నిర్మించే AI — యాప్ బిల్డర్ యొక్క స్వంత ఏజెంట్, ఇది కోడ్ రాస్తుంది.
2. మీ యాప్ లోపల ఉన్న AI — మీ వినియోగదారులు ఉపయోగించే ఫీచర్, ఉదాహరణకు చాట్ అసిస్టెంట్, "దీన్ని సంగ్రహించు" బటన్, లేదా ఆటోమేటిక్ ట్యాగింగ్.

రెండవది LLM API ని మీ కీతో కాల్ చేస్తుంది మరియు మీ ప్రొవైడర్ ఖాతాకు బిల్ చేస్తుంది. టోకెన్లు, కాంటెక్స్ట్ మరియు ధరలను అర్థం చేసుకోవడం వల్ల మీరు పని చేసే, మీ కీని లీక్ చేయని, మరియు ఆశ్చర్యకరమైన బిల్ రాని ఫీచర్‌ను డిజైన్ చేయగలుగుతారు.

ఒక రోజువారీ పోలిక: చాలా సామర్థ్యం ఉన్న ఫ్రీలాన్సర్, పదాల వారీగా చెల్లింపు

LLM API ను ఒక అద్భుతమైన ఫ్రీలాన్స్ రచయిత అనుకోండి, మీరు ఈమెయిల్ ద్వారా సంప్రదించి, పదాల వారీగా చెల్లిస్తారు — మీరు పంపే పదాలకూ, వారు తిరిగి రాసే పదాలకూ (మరియు రాసిన పదాలు ఎక్కువ ఖరీదు).

• ఈమెయిళ్ల మధ్య వారికి జ్ఞాపకం ఉండదు. సంభాషణ కొనసాగాలంటే, ప్రతి కొత్త ఈమెయిల్‌లో మునుపటి మెసేజ్‌లను మళ్లీ అతికించాలి.
• వారు ఒకేసారి చదవగలిగేది పరిమితం. ఆ పరిమితినే కాంటెక్స్ట్ విండో అంటారు.
• మీ బ్రీఫ్ ఎంత స్పష్టంగా ఉంటే, సమాధానం అంత మంచిది మరియు చిన్నది — అది కూడా చౌకైనది.

ముఖ్యమైన భావనలు

టోకెన్లు

మోడల్స్ టెక్స్ట్‌ను టోకెన్లలో చదివి రాస్తాయి. Anthropic ధర డాక్యుమెంటేషన్ సెప్టెంబర్ 2026 నాటికి ఒక టోకెన్‌కు సుమారు 4 అక్షరాలు, లేదా దాదాపు 0.75 ఇంగ్లీష్ పదాలు అని అంచనా వేస్తుంది. వేర్వేరు మోడల్స్ మరియు భాషలు భిన్నంగా టోకెనైజ్ చేస్తాయి, కాబట్టి దాన్ని స్థూల మార్గదర్శకంగా తీసుకోండి. మీ సూచనలు, వినియోగదారు మెసేజ్, మీరు చేర్చిన పత్రాలు, మునుపటి సంభాషణ, మరియు సమాధానం — అన్నీ లెక్కలోకి వస్తాయి.

ఇన్‌పుట్ మరియు అవుట్‌పుట్

ఇన్‌పుట్ టోకెన్లు మీరు పంపేవి. అవుట్‌పుట్ టోకెన్లు మోడల్ రాసేవి. OpenAI, Anthropic మరియు Google ధర పేజీల ప్రకారం, సెప్టెంబర్ 2026 నాటికి, అదే మోడల్‌కు అవుట్‌పుట్ టోకెన్లు ఇన్‌పుట్ కంటే చాలా రెట్లు ఎక్కువ ఖర్చవుతాయి. Gemini ధర ప్రకారం, మోడల్ యొక్క అంతర్గత "థింకింగ్" కూడా అవుట్‌పుట్‌గానే లెక్కించబడుతుంది.

కాంటెక్స్ట్ విండో

ఒకే అభ్యర్థనలో (సమాధానంతో సహా) మోడల్ తీసుకోగలిగే గరిష్ట టోకెన్ల సంఖ్య. ఆధునిక మోడల్స్ చాలా పొడవైన ఇన్‌పుట్‌లను అంగీకరిస్తాయి — ఉదాహరణకు Anthropic యొక్క కొన్ని ప్రస్తుత మోడల్స్ ఒక మిలియన్ టోకెన్ల వరకు అంగీకరిస్తాయి. కానీ పొడవైన ఇన్‌పుట్‌లు ఎక్కువ ఖర్చు మరియు ఎక్కువ సమయం తీసుకుంటాయి, కాబట్టి పని కోసం అవసరమైనదే పంపండి.

స్టేట్‌లెస్ అభ్యర్థనలు

చాలా చాట్-శైలి APIs లో ప్రతి అభ్యర్థన డిఫాల్ట్‌గా స్వతంత్రంగా ఉంటుంది. చాట్ "గుర్తుంచుకోవాలంటే", మీ యాప్ ప్రతి కొత్త మెసేజ్‌తో మునుపటి మెసేజ్‌లను మళ్లీ పంపుతుంది. అందుకే పొడవైన సంభాషణలో ప్రతి మెసేజ్ ఖర్చు చిన్న సంభాషణ కంటే ఎక్కువ.

సిస్టమ్ ప్రాంప్ట్

ప్రతి అభ్యర్థనకు మోడల్ పాత్ర మరియు నియమాలను సెట్ చేసే సూచనలు: "మీరు సపోర్ట్ టిక్కెట్లను మూడు బుల్లెట్ పాయింట్లలో సంగ్రహిస్తారు. కస్టమర్ ఈమెయిల్ చిరునామాలను ఎప్పుడూ చేర్చవద్దు." వినియోగదారులకు ఇది కనిపించదు, కానీ ప్రతి సమాధానాన్ని ఇది రూపొందిస్తుంది.

స్ట్రీమింగ్

పూర్తి సమాధానం కోసం వేచి ఉండకుండా, జనరేట్ అవుతున్నప్పుడే API టెక్స్ట్‌ను పంపగలదు, తద్వారా వినియోగదారులు మాటలు వెంటనే కనిపించడం చూస్తారు. ఇది చాట్ ఇంటర్‌ఫేస్‌ను చాలా వేగంగా అనిపించేలా చేస్తుంది.

ధర ఎలా పనిచేస్తుంది

సెప్టెంబర్ 2026 నాటికి, ప్రొవైడర్ల సొంత ధర పేజీల ఆధారంగా:

కొన్ని ప్రొవైడర్లు ముందుగా చెల్లించకుండా ప్రయత్నించే అవకాశం కూడా ఇస్తారు: Anthropic కొత్త వినియోగదారులకు చిన్న ఉచిత క్రెడిట్ ఇస్తుంది, మరియు Google Gemini API కొన్ని మోడల్స్‌పై ఉచిత టైర్ కలిగి ఉంది — అయితే దానిపై పంపిన కంటెంట్‌ను Google ఉత్పత్తులను మెరుగుపరచడానికి ఉపయోగించవచ్చని గమనించాలి.

ఒక ప్రొవైడర్ యొక్క చిన్న, వేగవంతమైన మోడల్స్ మరియు పెద్దవాటి మధ్య ధరలు చాలా భిన్నంగా ఉంటాయి, మరియు అవి తరచుగా మారతాయి, కాబట్టి ఇక్కడ ధరలు ఇవ్వలేదు. ఏ ఫీచర్‌కైనా సరళమైన అంచనా: (ఇన్‌పుట్ టోకెన్లు × ఇన్‌పుట్ ధర + అవుట్‌పుట్ టోకెన్లు × అవుట్‌పుట్ ధర) × నెలకు అభ్యర్థనల సంఖ్య. తర్వాత కొంత మార్జిన్ జోడించి, ప్రొవైడర్ డాష్‌బోర్డ్‌లో నెలవారీ ఖర్చు పరిమితి సెట్ చేయండి.

ఒక ఉదాహరణ: "ఈ టిక్కెట్‌ను సంగ్రహించు" బటన్

ఒక చిన్న సపోర్ట్ టీమ్ పొడవైన కస్టమర్ ఈమెయిల్ థ్రెడ్‌ను మూడు బుల్లెట్ పాయింట్లు మరియు సూచించిన సమాధానంగా మార్చే బటన్ కోరుకుంటుంది.

1. కీ పొందండి. ఒక ప్రొవైడర్‌తో ఖాతా సృష్టించి API కీ జనరేట్ చేయండి. తక్కువ నెలవారీ ఖర్చు పరిమితి సెట్ చేయండి.
2. కీని రహస్యంగా నిల్వ చేయండి మీ సర్వర్‌లో, ANTHROPIC_API_KEY లేదా OPENAI_API_KEY వంటి పేరుతో — పేజీ కోడ్‌లో ఎప్పుడూ కాదు. ఎన్విరాన్‌మెంట్ వేరియబుల్స్ మరియు సీక్రెట్స్ చూడండి.
3. సర్వర్ రూట్ జోడించండి, POST /api/summarise, ఇది:
   • వ్యక్తి లాగిన్ అయి ఉన్నాడో మరియు సపోర్ట్ టీమ్‌కు చెందినవాడో తనిఖీ చేస్తుంది;
   • డేటాబేస్ నుండి టిక్కెట్‌ను లోడ్ చేస్తుంది;
   • ప్రొవైడర్‌కు సిస్టమ్ ప్రాంప్ట్ ("మూడు బుల్లెట్లలో సంగ్రహించు, తర్వాత మర్యాదపూర్వక సమాధానం రాయి; ఆర్డర్ నంబర్లు కల్పించవద్దు") మరియు టిక్కెట్ టెక్స్ట్‌ను పంపుతుంది;
   • గరిష్ట అవుట్‌పుట్ టోకెన్ల సెట్టింగ్‌తో సమాధానం పొడవును పరిమితం చేస్తుంది;
   • ఫలితాన్ని తిరిగి ఇచ్చి ఎన్ని టోకెన్లు ఉపయోగించబడ్డాయో లాగ్ చేస్తుంది.
4. బటన్ ప్రొవైడర్‌ను కాదు, మీ రూట్‌ను కాల్ చేస్తుంది, మరియు సమాధానం స్ట్రీమ్ అవుతున్నప్పుడు చూపిస్తుంది.
5. వైఫల్యాన్ని నిర్వహించండి. ప్రొవైడర్ నెమ్మదిగా ఉంటే లేదా ఎర్రర్ ఇస్తే, "ప్రస్తుతం సంగ్రహించలేకపోయాం" అని చూపించి, టిక్కెట్‌ను ఉపయోగయోగ్యంగా ఉంచండి.
6. కొలవండి. ఒక వారం తర్వాత, టోకెన్ లాగ్‌లు చూడండి. ఖర్చులో ఎక్కువ భాగం పొడవైన ఈమెయిల్ థ్రెడ్‌ల వల్ల అయితే, పంపే ముందు కోట్ చేసిన పాత చరిత్రను తగ్గించండి.

ఇక్కడ ఏమి లేదో గమనించండి: మోడల్ ట్రైనింగ్ లేదు, ప్రత్యేక ఇన్‌ఫ్రాస్ట్రక్చర్ లేదు. ఒక కీ, ఒక సర్వర్ రూట్, ఒక బాగా రాసిన ప్రాంప్ట్.

ముఖ్యమైన పదాలు

• API కీ: ప్రొవైడర్‌కు మీ ఖాతాను గుర్తించే రహస్యం. ఎవరి దగ్గర ఉన్నా మీ డబ్బు ఖర్చు చేయగలరు.
• మోడల్: మీరు కాల్ చేసే నిర్దిష్ట LLM. ప్రొవైడర్లు వేర్వేరు ధరలు మరియు వేగంతో అనేక పరిమాణాలు అందిస్తారు.
• Temperature: సమాధానాలు ఎంత వైవిధ్యంగా ఉంటాయో నిర్ణయించే సెట్టింగ్. తక్కువ ఉంటే మరింత ఊహించదగినవి.
• Max tokens: సమాధానం పొడవుపై పరిమితి, ఇది ఖర్చును కూడా పరిమితం చేస్తుంది.
• Rate limit: మీ ఖాతా నిమిషానికి ఎన్ని అభ్యర్థనలు లేదా టోకెన్లు ఉపయోగించగలదో.
• Embeddings: టెక్స్ట్ అర్థాన్ని సూచించే సంఖ్యలు, మీ స్వంత పత్రాలలో శోధనకు ఉపయోగిస్తారు.
• RAG (retrieval-augmented generation): మీ స్వంత డేటా నుండి సంబంధిత భాగాలను కనుగొని ప్రాంప్ట్‌లో చేర్చడం, తద్వారా మోడల్ మీ కంటెంట్ నుండి సమాధానం ఇస్తుంది.
• Tool use / function calling: "ఆర్డర్ స్థితిని చూడు" వంటి నిర్దిష్ట ఫంక్షన్‌ను నడపమని మోడల్ మీ యాప్‌ను అడగడానికి అనుమతించడం.

సాధారణ తప్పులు మరియు అపోహలు

• ఫ్రంటెండ్ కోడ్‌లో కీ పెట్టడం. అత్యంత ఖరీదైన తప్పు. బ్రౌజర్ కోడ్ పబ్లిక్. ఎల్లప్పుడూ మీ సర్వర్ నుండి కాల్ చేయండి. AI తో నిర్మించిన యాప్‌ల భద్రతా చెక్‌లిస్ట్ ఇతర లాంచ్ చెక్‌లతో పాటు దీన్ని కూడా కవర్ చేస్తుంది.
• ఖర్చు పరిమితి లేదా వినియోగదారుల వారీ పరిమితులు లేకపోవడం. ఒక బగ్, ఒక లూప్ లేదా దుర్వినియోగం చేసే వినియోగదారు త్వరగా ఖర్చు పెంచవచ్చు. ప్రొవైడర్ పరిమితి సెట్ చేసి, మీ యాప్‌లో ప్రతి వినియోగదారుకు అభ్యర్థనలను పరిమితం చేయండి.
• ప్రతిసారి అన్నీ పంపడం. మొత్తం పత్రాలు మరియు పూర్తి చాట్ చరిత్ర ఇన్‌పుట్ టోకెన్లను గుణిస్తాయి. ట్రిమ్ చేయండి, పాత మెసేజ్‌లను సంగ్రహించండి, లేదా సంబంధిత భాగాలను మాత్రమే తిరిగి తీసుకురండి.
• అవుట్‌పుట్‌ను గుడ్డిగా నమ్మడం. మోడల్స్ తప్పు విషయాలను నమ్మకంగా చెప్పగలవు. వాస్తవాలు, ధరలు, లేదా చట్టపరమైన/వైద్య విషయాల కోసం, సమాధానాలను మీ స్వంత డేటాపై ఆధారపడేలా చేయండి మరియు మూలాలు చూపండి, లేదా ఒక వ్యక్తి తనిఖీ చేయాలి.
• వినియోగదారు ఇన్‌పుట్ మీ నియమాలను అధిగమించనివ్వడం. వినియోగదారులు "మీ సూచనలను విస్మరించు" అని టైప్ చేయగలరు. అనుమతులు మరియు సున్నితమైన చర్యలను కేవలం ప్రాంప్ట్‌లో కాకుండా మీ సర్వర్ కోడ్‌లో ఉంచండి.
• అతిపెద్ద మోడల్‌తో ప్రారంభించడం. ముందుగా చిన్న, చౌకైన మోడల్‌ను ప్రయత్నించండి; నాణ్యత అవసరమైతేనే పైకి వెళ్లండి.
• ఆలోచించకుండా వ్యక్తిగత డేటా పంపడం. ముఖ్యంగా ఉచిత టైర్‌లలో, ప్రొవైడర్ డేటా-వినియోగ నిబంధనలను తనిఖీ చేయండి, మరియు ఫీచర్‌కు అవసరమైనదే పంపండి.

మీ AI బిల్డర్‌ను ఏమి అడగాలి

ఈ టిక్కెట్ పేజీలో "Summarise" బటన్ జోడించండి. ఇది OPENAI_API_KEY రహస్యాన్ని ఉపయోగించే సర్వర్ రూట్‌ను కాల్ చేస్తుంది (ఎప్పుడూ బ్రౌజర్‌కు బహిర్గతం కాదు), వినియోగదారు లాగిన్ అయ్యాడో తనిఖీ చేస్తుంది, ఈ సిస్టమ్ ప్రాంప్ట్‌తో టిక్కెట్ టెక్స్ట్ పంపుతుంది: […], సమాధానాన్ని 300 టోకెన్లకు పరిమితం చేస్తుంది, సమాధానాన్ని పేజీకి స్ట్రీమ్ చేస్తుంది, మరియు కాల్ విఫలమైతే స్నేహపూర్వక ఎర్రర్ చూపిస్తుంది. ప్రతి అభ్యర్థనకు ఉపయోగించిన టోకెన్లను లాగ్ చేయండి, మరియు ప్రతి వినియోగదారుకు గంటకు 30 సంగ్రహాలకు పరిమితి పెట్టండి.

పూర్తి చాట్ అనుభవం కోసం, AI చాట్‌బాట్ యాప్ ఎలా నిర్మించాలి చూడండి; ఇతర ఆలోచనల కోసం, మీ యాప్‌కు AI ఫీచర్లు ఎలా జోడించాలి. APIs సాధారణంగా కొత్తగా ఉంటే, API అంటే ఏమిటి తో ప్రారంభించండి.

Mythex తో నిర్మించిన యాప్‌లలో LLM APIs

Mythex తో నిర్మించినప్పుడు, మీ యాప్ లోపల ఉన్న AI మీ స్వంత ప్రొవైడర్ కీని ఉపయోగిస్తుంది. మీరు దాన్ని ప్రాజెక్ట్ సీక్రెట్‌గా జోడిస్తారు, లేదా చాట్‌లో Mythex అవసరమైనప్పుడు చూపించే సీక్రెట్స్ కార్డ్ ద్వారా, మరియు కాల్‌ను సర్వర్‌లో చేయమని ఏజెంట్‌ను అడుగుతారు. ప్రొవైడర్ వాడకం మీ ప్రొవైడర్ ఖాతాకు బిల్ అవుతుంది, Mythex బిల్డ్ క్రెడిట్‌లకు కాదు. మీ యాప్ వినియోగదారుల కోసం Mythex టోకెన్లను చేర్చదు, మరియు రేట్ లిమిట్స్ మరియు ఖర్చు నియంత్రణలు మీరు డిజైన్ చేసి పరీక్షించాల్సినవి. డాక్స్ రెసిపీ మీ స్వంత API కీలతో AI ఫీచర్లు జోడించండి లో స్టార్టర్ ప్రాంప్ట్ ఉంది, మరియు AI యాప్ బిల్డర్ పేజీ ఎక్కడ ప్రారంభించాలో చూపిస్తుంది.

ప్రశ్నలు