మీ యాప్‌కి AI ఫీచర్లు ఎలా జోడించాలి

మీ యాప్‌కి AI ఫీచర్లు జోడించడానికి, మీ సర్వర్ నుండి ఒక లార్జ్ లాంగ్వేజ్ మోడల్ (LLM) API ని పిలవండి: స్పష్టమైన సూచనలు మరియు సంబంధిత డేటాను పంపి, తిరిగి వచ్చిన దాన్ని వాడండి. ఎక్కువగా ఉపయోగపడే ఫీచర్లు నాలుగు నమూనాలలో ఒకటి — సారాంశం, చాట్, నిర్మిత డేటా ఎక్స్‌ట్రాక్షన్, మరియు వర్గీకరణ — మరియు ప్రతిదీ కొన్ని డజన్ల లైన్ల కోడ్, AI బిల్డర్ మీ కోసం రాయగలదు. ఫీచర్ మంచిదా కాదా అని నిర్ణయించేది కాల్ చుట్టూ ఉన్న పని: API కీని సర్వర్‌లో ఉంచడం, ప్రతి యూజర్ ఖర్చును నియంత్రించడం, మరియు నమ్మకముందు అవుట్‌పుట్‌ను తనిఖీ చేయడం.

చాలా AI ఫీచర్ల వెనుక ఉన్న నాలుగు నమూనాలు

ఎక్స్‌ట్రాక్షన్ మరియు వర్గీకరణ తరచుగా అత్యంత విలువైనవి, కానీ ఎక్కువగా కనిపించనివి. ప్రతి రికార్డ్‌పై ఎవరికైనా కొన్ని నిమిషాలు ఆదా చేస్తాయి, మరియు అవుట్‌పుట్ స్థిర ఆకారంలో ఉంటుంది కాబట్టి దాన్ని ఆటోమేటిక్‌గా తనిఖీ చేయవచ్చు. చాట్ ఎక్కువగా కనిపించేది, కానీ సరిగ్గా చేయడం కష్టం, దానికి ప్రత్యేక గైడ్ ఉంది: AI చాట్‌బాట్ యాప్ ఎలా నిర్మించాలి.

ఇది మీ యాప్‌లో ఎలా సరిపోతుంది

ప్రతి నమూనాకి ఒకే ఆకారం ఉంటుంది:

1. యూజర్ చర్య తీసుకుంటాడు — "సారాంశం" క్లిక్ చేస్తాడు, ఫైల్ అప్‌లోడ్ చేస్తాడు, మెసేజ్ పంపుతాడు.
2. మీ ఫ్రంట్ ఎండ్ AI ప్రొవైడర్‌ని కాదు, మీ స్వంత సర్వర్‌ని పిలుస్తుంది.
3. మీ సర్వర్ రిక్వెస్ట్‌ని నిర్మిస్తుంది: సిస్టమ్ సూచనలు, యూజర్ ఇన్‌పుట్, మరియు మోడల్‌కి అవసరమైన ఏ డేటాబేస్ డేటా అయినా — ఈ యూజర్‌కి అనుమతి ఉన్న డేటా మాత్రమే.
4. మీ సర్వర్ LLM APIని పిలుస్తుంది, కీ ఎన్విరాన్‌మెంట్ వేరియబుల్‌లో నిల్వ చేసి ఉంటుంది.
5. మీ సర్వర్ ప్రతిస్పందనను తనిఖీ చేస్తుంది — చెల్లుబాటు అయ్యే JSON, తెలిసిన లేబుల్, సహేతుకమైన పొడవు — ఆపై సేవ్ చేస్తుంది లేదా తిరిగి ఇస్తుంది.
6. ఫ్రంట్ ఎండ్ దాన్ని చూపిస్తుంది, పొడవైన సమాధానాల కోసం వచ్చేటప్పుడే టెక్స్ట్ స్ట్రీమ్ చేస్తుంది.

దశ 4లో కీ సర్వర్‌లో ఉంటుంది, బ్రౌజర్‌కి ఎప్పుడూ చేరదు. API అనే భావన కొత్తదైతే, API అంటే ఏమిటి ఒక చిన్న పరిచయం, మరియు LLM APIలను ఎలా వాడాలి టోకెన్లు, మోడల్‌లు మరియు కీల గురించి లోతుగా చెబుతుంది.

ప్రొవైడర్ మరియు మోడల్ ఎంచుకోవడం

ప్రధాన ప్రొవైడర్లు — OpenAI, Anthropic, Google మరియు ఇతరులు — అందరూ దాదాపు ఒకేలా ఉండే టెక్స్ట్ APIలను ఇస్తారు. ఎంచుకునేటప్పుడు ఉపయోగకరమైన ప్రశ్నలు:

• మీ పనిపై నాణ్యత. మీ యాప్ నుండి కొన్ని నిజమైన ఉదాహరణలను రెండు-మూడు మోడల్‌లపై ప్రయత్నించండి. తేడాలు తరచుగా సాధారణ బెంచ్‌మార్క్‌ల కంటే మీ డేటాపై స్పష్టంగా కనిపిస్తాయి.
• పరిమాణం vs ఖర్చు. ప్రొవైడర్లు పెద్ద, మరింత సామర్థ్యం గల మోడల్‌లు మరియు చిన్న, చౌకైన, వేగమైన వాటిని ఇస్తారు. వర్గీకరణ మరియు సరళ ఎక్స్‌ట్రాక్షన్ తరచుగా చిన్న మోడల్‌పై బాగా పనిచేస్తాయి; దీర్ఘ తార్కికం లేదా సూక్ష్మమైన రచనకు పెద్దది అవసరం కావచ్చు.
• స్ట్రక్చర్డ్ అవుట్‌పుట్. ఎక్స్‌ట్రాక్షన్ మరియు వర్గీకరణ కోసం, ఫ్రీ టెక్స్ట్‌ని పార్స్ చేయకుండా, మీరు ఇచ్చిన స్కీమాకి సరిపోయే JSON తిరిగి ఇచ్చే API ఫీచర్‌ని ఇష్టపడండి.
• డేటా నిర్వహణ. API ఇన్‌పుట్‌లు నిల్వ అవుతాయా లేదా శిక్షణ కోసం వాడతారా అనే ప్రొవైడర్ నిబంధనలను చదవండి, మరియు అది మీ యూజర్లు ఇచ్చే డేటాకు సరిపోతుందో లేదో చూడండి.
• పరిమితులు. కొత్త అకౌంట్లకు తరచుగా తక్కువ రేట్ లిమిట్‌లు ఉంటాయి; లాంచ్‌కి ముందు వాటిని తనిఖీ చేయండి.

మోడల్ పేర్లు మరియు ధరలు తరచుగా మారుతాయి, కాబట్టి కోడ్ మోడల్ పేరును అనేక చోట్ల హార్డ్-కోడ్ చేయకుండా కాన్ఫిగరేషన్ నుండి చదవాలి.

ఒక ఫీచర్ జోడించడం, దశల వారీగా

ఒక ఖచ్చితమైన ఉదాహరణ తీసుకోండి: ప్రతి కాంటాక్ట్‌కి సుదీర్ఘ నోట్స్ చరిత్ర ఉన్న ఒక చిన్న CRM.

1. కీని నిల్వ చేయండి. మీ ప్రొవైడర్ డ్యాష్‌బోర్డ్‌లో కీ సృష్టించి, దాన్ని సర్వర్ వైపు సీక్రెట్‌గా సేవ్ చేయండి, ఉదాహరణకు OPENAI_API_KEY లేదా ANTHROPIC_API_KEY.

2. ఒక చిన్న ఫీచర్ అడగండి:

కాంటాక్ట్ పేజీకి "Summarise" బటన్ జోడించు. సర్వర్‌లో, కాంటాక్ట్ యొక్క చివరి 20 నోట్స్‌ని [PROVIDER]కి పంపు, [ENV_NAME] సీక్రెట్ వాడి, మూడు బుల్లెట్ పాయింట్లు రాయమని సూచనలతో: ప్రస్తుత స్థితి, తెరిచి ఉన్న ప్రశ్నలు, తదుపరి దశ. లాగిన్ అయిన యూజర్ చూడగలిగే నోట్స్ మాత్రమే చేర్చు. లోడింగ్ స్థితి చూపించు, సారాంశాన్ని టైమ్‌స్టాంప్‌తో సేవ్ చేయి, కాల్ విఫలమైతే "ఇప్పుడు సంక్షిప్తం చేయలేకపోయాం" అని చూపించు. కీని ఎప్పుడూ బ్రౌజర్‌కి పంపవద్దు.

3. టైపింగ్ ఆదా చేసే చోట ఎక్స్‌ట్రాక్షన్ జోడించండి:

యూజర్ "Quick add" బాక్స్‌లో ఇమెయిల్ సిగ్నేచర్ అతికించినప్పుడు, సర్వర్‌లో [PROVIDER]ని పిలిచి, పేరు, కంపెనీ, ఉద్యోగ శీర్షిక, ఇమెయిల్ మరియు ఫోన్‌తో JSON తిరిగి ఇవ్వు, ప్రొవైడర్ యొక్క స్ట్రక్చర్డ్ అవుట్‌పుట్ ఫీచర్ వాడి. JSON ని సర్వర్‌లో ధృవీకరించి, కొత్త కాంటాక్ట్ ఫారమ్‌ను దానితో ప్రీ-ఫిల్ చేయి, సేవ్ చేయడానికి ముందు యూజర్ ఎడిట్ చేయనివ్వు. ఊహించడం కన్నా ఫీల్డ్‌లను ఖాళీగా ఉంచు.

"సేవ్ చేయడానికి ముందు యూజర్ ఎడిట్ చేయనివ్వు" అనేది ముఖ్యమైన భాగం: మోడల్ ప్రతిపాదిస్తుంది, వ్యక్తి నిర్ణయిస్తాడు.

4. నేపథ్యంలో వర్గీకరించండి:

కొత్త సపోర్ట్ టికెట్ వచ్చినప్పుడు, దాన్ని ఖచ్చితంగా ఒకదానిలోకి వర్గీకరించు: billing, bug, feature request, account access, other. చిన్న, తక్కువ-ఖర్చు మోడల్ వాడు. ప్రతిస్పందన ఈ లేబుల్‌లలో ఒకటి కాకపోతే "other" నిల్వ చేయి. లేబుల్‌ను ఎడిట్ చేయగల ట్యాగ్‌గా చూపించు.

5. గజిబిజి నిజమైన డేటాతో పరీక్షించండి — పొడవైన నోట్స్, ఖాళీ నోట్స్, ఇతర భాషలు, ఫోన్ నంబర్ లేని సిగ్నేచర్ — మరియు షిప్ చేయడానికి ముందు ఇరవై అవుట్‌పుట్‌లను పక్కపక్కనే చూడండి.

పనిచేసే సూచనలు రాయడం

ప్రతి రిక్వెస్ట్‌తో మీరు పంపే సూచనలు (తరచుగా సిస్టమ్ ప్రాంప్ట్ అంటారు) నాణ్యత ఎక్కడ నుండి వస్తుందో అక్కడే ఉంటాయి.

• అది ఎవరి కోసం, మంచిది అంటే ఏమిటో చెప్పండి. "కాల్ ముందు సేల్స్‌పర్సన్ 10 సెకన్లలో సారాంశాన్ని చదువుతారు" అనేది మోడల్‌కి లక్ష్యం ఇస్తుంది.
• ఫార్మాట్ స్థిరపరచండి. బుల్లెట్ల ఖచ్చితమైన సంఖ్య, పొడవు పరిమితి, ఫీల్డ్‌లు, లేబుల్‌లు.
• తెలియనప్పుడు ఏం చేయాలో చెప్పండి. "నోట్స్‌లో తదుపరి దశ ప్రస్తావన లేకపోతే, 'తదుపరి దశ నమోదు కాలేదు' అని రాయి." ఇది కల్పిత సమాధానాలను తగ్గిస్తుంది.
• ఎక్స్‌ట్రాక్షన్ మరియు వర్గీకరణ కోసం రెండు-మూడు ఉదాహరణలు మంచి ఇన్‌పుట్ మరియు అవుట్‌పుట్‌ల.
• సూచనలను యూజర్ కంటెంట్ నుండి వేరుగా ఉంచండి, మరియు యూజర్ కంటెంట్‌కి స్పష్టమైన లేబుల్ ఇవ్వండి, తద్వారా మోడల్ వాటిని వేరు చేయగలదు.

ప్రాంప్ట్‌లను మీ కోడ్‌బేస్‌లో ఫైళ్లలో ఉంచండి, తద్వారా అవి ఇతర కోడ్ లాగే వెర్షన్ చేయబడి, సమీక్షించదగినవిగా ఉంటాయి.

ఖర్చును నియంత్రణలో ఉంచడం

LLM APIలు టోకెన్‌ల ద్వారా — చిన్న టెక్స్ట్ చంక్‌ల ద్వారా — మీరు పంపిన మరియు తిరిగి వచ్చిన రెండింటికీ ఛార్జ్ చేస్తాయి. ప్రతి రిక్వెస్ట్‌లోని కాంటెక్స్ట్ మొత్తం, అది ఎంత తరచుగా నడుస్తుందో దానితో ఖర్చు పెరుగుతుంది. ఆచరణాత్మక నియంత్రణలు:

• అవసరమైనది మాత్రమే పంపండి. మొత్తం చరిత్ర కాదు, చివరి 20 నోట్స్. పొడవైన డాక్యుమెంట్లను కత్తిరించండి లేదా విభజించండి.
• పని చేసే అతి చిన్న మోడల్ వాడండి. అతిపెద్దదాన్ని డిఫాల్ట్ చేసే ముందు పరీక్షించండి.
• అవుట్‌పుట్ పొడవును పరిమితం చేయండి API యొక్క గరిష్ట-టోకెన్ సెట్టింగ్‌తో.
• ఫలితాలను కాష్ చేయండి. సారాంశాన్ని నిల్వ చేసి, మూలం మారినప్పుడు మాత్రమే మళ్లీ రూపొందించండి, ప్రతి పేజీ వీక్షణకు కాకుండా.
• యూజర్ వారీగా పరిమితి పెట్టండి. అకౌంట్ లేదా ప్లాన్ వారీగా రోజువారీ పరిమితి ఒక భారీ యూజర్‌ని, లేదా ఒక స్క్రిప్ట్‌ని, బిల్లు పెంచకుండా ఆపుతుంది.
• ఎండ్‌పాయింట్‌కి రేట్ లిమిట్ పెట్టండి, ఏ ఇతర ఖరీదైన రూట్ లాగే.
• ప్రొవైడర్ డ్యాష్‌బోర్డ్‌లో బడ్జెట్ లేదా అలర్ట్ సెట్ చేయండి, మరియు లాంచ్ తర్వాత వారానికి ఒకసారి వినియోగం తనిఖీ చేయండి.
• ప్రతి ఫీచర్‌కి టోకెన్ వినియోగం లాగ్ చేయండి, ఏది ఎంత ఖర్చవుతుందో తెలుసుకోవడానికి.

AI ఫీచర్లు మీ ప్రొడక్ట్‌కి కేంద్రమైతే, వాటి నడుస్తున్న ఖర్చును భరించకుండా మీ ధరల్లో చేర్చండి.

భద్రత మరియు నమ్మకం

AI అవుట్‌పుట్ సంభావ్యమైనది. అది నమ్మకంగా అనిపిస్తూనే తప్పు కావచ్చు, మరియు అది చదివే టెక్స్ట్ దాన్ని నడిపించగలదు. దాని కోసం నిర్మించండి:

• అవుట్‌పుట్‌ను నమ్మదగని ఇన్‌పుట్‌గా చూడండి. నిర్మాణాన్ని ధృవీకరించండి, HTML గా రెండర్ చేసే ముందు ఎస్కేప్ చేయండి, మరియు ఎప్పుడూ కోడ్ లేదా డేటాబేస్ క్వెరీలుగా రన్ చేయవద్దు.
• పరిణామాలున్న వాటికి మానవుడిని లూప్‌లో ఉంచండి — ఇమెయిల్ పంపడం, రికార్డ్ మార్చడం, పేమెంట్ రీఫండ్ చేయడం. మోడల్ డ్రాఫ్ట్ చేస్తుంది; ఒక వ్యక్తి నిర్ధారిస్తాడు.
• ప్రాంప్ట్ ఇంజెక్షన్ నుండి రక్షించండి. ఒక డాక్యుమెంట్ లేదా మెసేజ్‌లో "మీ సూచనలను విస్మరించండి" లాంటి టెక్స్ట్ ఉండవచ్చు. మోడల్ చూడగలిగేదాన్ని ప్రస్తుత యూజర్ చూడగలిగే దానికి పరిమితం చేయండి, మరియు మీ కోడ్ ముందుగా అనుమతులు తనిఖీ చేయకుండా సున్నితమైన చర్యలు తీసుకోగల టూల్స్ ఇవ్వకండి.
• AI కంటెంట్‌ను లేబుల్ చేయండి, సారాంశం లేదా సూచన రూపొందించబడిందని యూజర్లకు తెలిసి, వారు తనిఖీ చేయగలిగేలా.
• వైఫల్యాలను సజావుగా నిర్వహించండి. ప్రొవైడర్లకు అంతరాయాలు మరియు రేట్ లిమిట్‌లు ఉంటాయి. టైమ్‌అవుట్ చేయండి, స్పష్టమైన సందేశం చూపించండి, మరియు యాప్‌లోని మిగతాది పనిచేస్తూనే ఉండేలా చూడండి.
• యూజర్లు ఏం పంపుతారో గమనించండి. ఓపెన్ టెక్స్ట్ ఇన్‌పుట్‌ల కోసం, మోడరేషన్ స్టెప్ పరిగణించండి, మరియు మీ ప్రైవసీ పాలసీలో కంటెంట్‌ను థర్డ్-పార్టీ AI ప్రొవైడర్ ప్రాసెస్ చేస్తుందని స్పష్టంగా చెప్పండి.

తనిఖీల విస్తృత జాబితా AI-నిర్మిత యాప్‌ల కోసం సెక్యూరిటీ చెక్‌లిస్ట్లో ఉంది.

సాధారణ తప్పులు

• సాధారణ చాట్‌బాట్‌తో మొదలుపెట్టడం, ఒక సింగిల్ "Summarise" లేదా "Categorise" బటన్ ఎక్కువ మందికి ఎక్కువ సహాయం చేయగలిగినప్పుడు.
• కీని ఫ్రంట్ ఎండ్ కోడ్‌లో లేదా పబ్లిక్ రిపాజిటరీలో ఉంచడం.
• మొత్తం డేటాబేస్‌ని కాంటెక్స్ట్‌గా పంపడం, ఇది నెమ్మది, ఖరీదైనది, మరియు ఇతర యూజర్ల డేటాను బయటపెట్టే ప్రమాదం.
• ఫ్రీ-టెక్స్ట్ అవుట్‌పుట్‌ను నమ్మడం, స్కీమా లేదా స్థిర లేబుల్ సెట్ దాన్ని తనిఖీ చేయదగినదిగా చేయగలిగినప్పుడు.
• యూజర్ వారీ పరిమితులు లేకపోవడం, మొదటి ఇన్‌వాయిస్ వచ్చినప్పుడు మాత్రమే గమనించడం.

Mythex లో AI ఫీచర్లు జోడించడం

Mythex లో మీ స్వంత యాప్‌లో AI ని చాట్‌లో అడగడం ద్వారా జోడిస్తారు, మీ స్వంత ప్రొవైడర్ కీని ఉపయోగించి. కీని ప్రాజెక్ట్ సీక్రెట్‌గా నిల్వ చేయండి — ఏజెంట్‌కి అది అవసరమైనప్పుడు, Mythex చాట్‌లో సీక్రెట్స్ కార్డ్ చూపిస్తుంది, కాబట్టి మీరు కీని సంభాషణలో అతికించాల్సిన అవసరం లేదు — మరియు ఏజెంట్ సర్వర్ రూట్, ప్రాంప్ట్‌లు మరియు ఇంటర్‌ఫేస్ రాస్తుంది. మీ యాప్ AI వినియోగానికి ఛార్జ్ మీ ప్రొవైడర్ చేస్తారు, మీరు బిల్డింగ్‌కి ఖర్చు చేసే Mythex క్రెడిట్స్‌కి వేరుగా. డాక్స్‌లో మీ స్వంత API కీలతో AI ఫీచర్లు జోడించండి అనే స్టార్టర్ ప్రాంప్ట్ ఉంది.

ప్రశ్నలు