LLM API ಬಳಸುವುದು ಹೇಗೆ: ಟೋಕನ್, ವೆಚ್ಚ, ಕೀ ಮತ್ತು ಮೊದಲ AI ವೈಶಿಷ್ಟ್ಯ

LLM API ಎಂದರೆ ನಿಮ್ಮ ಆ್ಯಪ್ ಪಠ್ಯವನ್ನು ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗೆ — ಉದಾಹರಣೆಗೆ OpenAI ನ GPT ಮಾದರಿಗಳು, Anthropic ನ Claude ಅಥವಾ Google ನ Gemini — ಕಳುಹಿಸಿ, ಉತ್ತರವನ್ನು ಕೋಡ್‌ನಲ್ಲಿ ಪಡೆಯಲು ಅನುಮತಿಸುವ ವೆಬ್ ಸೇವೆ. ನೀವು ಒದಗಿಸುವವರೊಂದಿಗೆ ಸೈನ್ ಅಪ್ ಮಾಡಿ API ಕೀ ರಚಿಸುತ್ತೀರಿ, ಮತ್ತು ನಿಮ್ಮ ಆ್ಯಪ್‌ನ ಸರ್ವರ್ ಆ ಕೀಯೊಂದಿಗೆ ವಿನಂತಿ ಕಳುಹಿಸುತ್ತದೆ. ಒಳಗೆ ಮತ್ತು ಹೊರಗೆ ಹೋಗುವ ಟೋಕನ್‌ಗಳ (ಪಠ್ಯದ ತುಣುಕುಗಳ) ಸಂಖ್ಯೆಗೆ ಅನುಗುಣವಾಗಿ ಪ್ರತಿ ವಿನಂತಿಗೆ ಬಿಲ್ ಆಗುತ್ತದೆ. “ಆ್ಯಪ್‌ಗೆ AI ಸೇರಿಸುವುದು” ಎಂದರೆ ಸಾಮಾನ್ಯವಾಗಿ ಇದೇ: ನಿಮ್ಮ ಸರ್ವರ್‌ನಿಂದ, ಸುರಕ್ಷಿತವಾಗಿ, ಬೇರೊಬ್ಬರ ಮಾದರಿಗೆ ಚೆನ್ನಾಗಿ ಬರೆದ ವಿನಂತಿ ಕಳುಹಿಸುವುದು.

AI ನಿಂದ ನಿರ್ಮಿಸುವಾಗ ಇದು ಏಕೆ ಮುಖ್ಯ

AI ನಿರ್ಮಿಸಿದ ಆ್ಯಪ್‌ನಲ್ಲಿ ಎರಡು ವಿಭಿನ್ನ AI ಗಳಿವೆ, ಮತ್ತು ಅವುಗಳನ್ನು ಗೊಂದಲಗೊಳಿಸುವುದು ಸುಲಭ:

1. ನಿಮ್ಮ ಆ್ಯಪ್ ನಿರ್ಮಿಸುವ AI — ಆ್ಯಪ್ ಬಿಲ್ಡರ್‌ನ ಸ್ವಂತ ಏಜೆಂಟ್, ಅದು ಕೋಡ್ ಬರೆಯುತ್ತದೆ.
2. ನಿಮ್ಮ ಆ್ಯಪ್ ಒಳಗಿನ AI — ಬಳಕೆದಾರರು ಬಳಸುವ ವೈಶಿಷ್ಟ್ಯ, ಉದಾಹರಣೆಗೆ ಚಾಟ್ ಸಹಾಯಕ, “ಇದನ್ನು ಸಾರಾಂಶಗೊಳಿಸಿ” ಬಟನ್ ಅಥವಾ ಸ್ವಯಂ ಟ್ಯಾಗಿಂಗ್.

ಎರಡನೆಯದು LLM API ಅನ್ನು ನಿಮ್ಮ ಕೀಯೊಂದಿಗೆ ಕರೆದು ನಿಮ್ಮ ಒದಗಿಸುವವರ ಖಾತೆಗೆ ಬಿಲ್ ಮಾಡುತ್ತದೆ. ಟೋಕನ್, ಸಂದರ್ಭ ಮತ್ತು ಬೆಲೆಯನ್ನು ಅರ್ಥಮಾಡಿಕೊಂಡರೆ ಕೆಲಸ ಮಾಡುವ, ಕೀ ಸೋರಿಕೆಯಾಗದ, ಮತ್ತು ಅನಿರೀಕ್ಷಿತ ಬಿಲ್ ಬಾರದ ವೈಶಿಷ್ಟ್ಯವನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಬಹುದು.

ದೈನಂದಿನ ಉದಾಹರಣೆ: ಪದಕ್ಕೆ ಹಣ ಪಡೆಯುವ ಅತ್ಯಂತ ಸಮರ್ಥ ಫ್ರೀಲಾನ್ಸರ್

LLM API ಅನ್ನು ನೀವು ಇಮೇಲ್ ಮೂಲಕ ತಲುಪುವ, ಪದಕ್ಕೆ ಹಣ ಪಡೆಯುವ ಅತ್ಯಂತ ಸಮರ್ಥ ಫ್ರೀಲಾನ್ಸ್ ಬರಹಗಾರನಂತೆ ಯೋಚಿಸಿ — ನೀವು ಕಳುಹಿಸುವ ಪದಗಳು ಮತ್ತು ಅವರು ಬರೆಯುವ ಪದಗಳು ಎರಡಕ್ಕೂ ಹಣ (ಮತ್ತು ಬರೆದ ಪದಗಳು ಹೆಚ್ಚು ದುಬಾರಿ).

• ಅವರಿಗೆ ಇಮೇಲ್‌ಗಳ ನಡುವೆ ನೆನಪಿರುವುದಿಲ್ಲ. ಸಂಭಾಷಣೆ ಮುಂದುವರಿಸಬೇಕಾದರೆ, ಹಿಂದಿನ ಸಂದೇಶಗಳನ್ನು ಪ್ರತಿ ಹೊಸ ಇಮೇಲ್‌ನಲ್ಲಿ ಮತ್ತೆ ಅಂಟಿಸಬೇಕು.
• ಒಮ್ಮೆಗೆ ಇಷ್ಟನ್ನೇ ಓದಬಲ್ಲರು. ಆ ಮಿತಿಯೇ ಸಂದರ್ಭ ವಿಂಡೋ.
• ನಿಮ್ಮ ಸೂಚನೆ ಎಷ್ಟು ಸ್ಪಷ್ಟವೋ, ಉತ್ತರ ಅಷ್ಟು ಉತ್ತಮ ಮತ್ತು ಚಿಕ್ಕದಾಗುತ್ತದೆ — ಇದರಿಂದ ಅದು ಅಗ್ಗವೂ ಆಗುತ್ತದೆ.

ಪ್ರಮುಖ ಪರಿಕಲ್ಪನೆಗಳು

ಟೋಕನ್‌ಗಳು

ಮಾದರಿಗಳು ಪಠ್ಯವನ್ನು ಟೋಕನ್‌ಗಳಲ್ಲಿ ಓದುತ್ತವೆ ಮತ್ತು ಬರೆಯುತ್ತವೆ. Anthropic ನ ಬೆಲೆ ದಸ್ತಾವೇಜು, ಸೆಪ್ಟೆಂಬರ್ 2026 ರಂತೆ, ಪ್ರತಿ ಟೋಕನ್‌ಗೆ ಸುಮಾರು 4 ಅಕ್ಷರಗಳು, ಅಥವಾ ಸುಮಾರು 0.75 ಇಂಗ್ಲಿಷ್ ಪದಗಳು ಎಂದು ಅಂದಾಜು ಮಾಡುತ್ತದೆ. ಬೇರೆ ಮಾದರಿಗಳು ಮತ್ತು ಭಾಷೆಗಳು ವಿಭಿನ್ನವಾಗಿ ಟೋಕನೈಸ್ ಮಾಡುತ್ತವೆ, ಆದ್ದರಿಂದ ಇದನ್ನು ಒರಟು ಮಾರ್ಗದರ್ಶಿ ಎಂದು ಪರಿಗಣಿಸಿ. ಎಲ್ಲವೂ ಎಣಿಕೆಗೆ ಸೇರುತ್ತದೆ: ನಿಮ್ಮ ಸೂಚನೆಗಳು, ಬಳಕೆದಾರರ ಸಂದೇಶ, ನೀವು ಸೇರಿಸುವ ದಾಖಲೆಗಳು, ಹಿಂದಿನ ಸಂಭಾಷಣೆ ಮತ್ತು ಉತ್ತರ.

ಇನ್‌ಪುಟ್ ಮತ್ತು ಔಟ್‌ಪುಟ್

ಇನ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳು ನೀವು ಕಳುಹಿಸುವುದು. ಔಟ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳು ಮಾದರಿ ಬರೆಯುವುದು. OpenAI, Anthropic ಮತ್ತು Google ನ ಬೆಲೆ ಪುಟಗಳ ಪ್ರಕಾರ, ಸೆಪ್ಟೆಂಬರ್ 2026 ರಂತೆ, ಒಂದೇ ಮಾದರಿಗೆ ಔಟ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳು ಇನ್‌ಪುಟ್‌ಗಿಂತ ಹಲವು ಪಟ್ಟು ದುಬಾರಿ. Google ನ Gemini ಬೆಲೆ ನಿಗದಿಯು ಮಾದರಿಯ ಆಂತರಿಕ “ಯೋಚನೆ” ಕೂಡ ಔಟ್‌ಪುಟ್ ಎಂದು ಎಣಿಕೆಯಾಗುತ್ತದೆ ಎಂದು ಸೂಚಿಸುತ್ತದೆ.

ಸಂದರ್ಭ ವಿಂಡೋ

ಒಂದೇ ವಿನಂತಿಯಲ್ಲಿ ಮಾದರಿ ಸ್ವೀಕರಿಸಬಹುದಾದ ಗರಿಷ್ಠ ಟೋಕನ್‌ಗಳ ಸಂಖ್ಯೆ, ಉತ್ತರವನ್ನೂ ಸೇರಿಸಿ. ಆಧುನಿಕ ಮಾದರಿಗಳು ಬಹಳ ಉದ್ದದ ಇನ್‌ಪುಟ್ ಸ್ವೀಕರಿಸುತ್ತವೆ — ಉದಾಹರಣೆಗೆ Anthropic ನ ಕೆಲವು ಪ್ರಸ್ತುತ ಮಾದರಿಗಳು ಒಂದು ಮಿಲಿಯನ್ ಟೋಕನ್‌ವರೆಗೆ ಸ್ವೀಕರಿಸುತ್ತವೆ. ಆದರೆ ಉದ್ದದ ಇನ್‌ಪುಟ್ ಹೆಚ್ಚು ವೆಚ್ಚ ಮತ್ತು ಸಮಯ ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ, ಆದ್ದರಿಂದ ಕೆಲಸಕ್ಕೆ ಬೇಕಾದದ್ದನ್ನು ಮಾತ್ರ ಕಳುಹಿಸಿ.

ಸ್ಟೇಟ್‌ಲೆಸ್ ವಿನಂತಿಗಳು

ಹೆಚ್ಚಿನ ಚಾಟ್ ಶೈಲಿಯ APIಗಳಲ್ಲಿ, ಪ್ರತಿ ವಿನಂತಿ ಡೀಫಾಲ್ಟ್ ಆಗಿ ಸ್ವತಂತ್ರವಾಗಿರುತ್ತದೆ. ಚಾಟ್ ನೆನಪಿಡಬೇಕೆಂದರೆ, ನಿಮ್ಮ ಆ್ಯಪ್ ಹಿಂದಿನ ಸಂದೇಶಗಳನ್ನು ಪ್ರತಿ ಹೊಸ ಸಂದೇಶದೊಂದಿಗೆ ಮತ್ತೆ ಕಳುಹಿಸುತ್ತದೆ. ಅದಕ್ಕಾಗಿಯೇ ಉದ್ದದ ಸಂಭಾಷಣೆಯ ಪ್ರತಿ ಸಂದೇಶ ಚಿಕ್ಕ ಸಂಭಾಷಣೆಗಿಂತ ಹೆಚ್ಚು ವೆಚ್ಚವಾಗುತ್ತದೆ.

ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್

ಪ್ರತಿ ವಿನಂತಿಗೆ ಮಾದರಿಯ ಪಾತ್ರ ಮತ್ತು ನಿಯಮಗಳನ್ನು ನಿಗದಿಪಡಿಸುವ ಸೂಚನೆಗಳು: “ನೀವು ಬೆಂಬಲ ಟಿಕೆಟ್‌ಗಳನ್ನು ಮೂರು ಬುಲೆಟ್‌ಗಳಲ್ಲಿ ಸಾರಾಂಶಗೊಳಿಸುತ್ತೀರಿ. ಗ್ರಾಹಕರ ಇಮೇಲ್ ವಿಳಾಸಗಳನ್ನು ಎಂದಿಗೂ ಸೇರಿಸಬೇಡಿ.” ಬಳಕೆದಾರರಿಗೆ ಇದು ಕಾಣುವುದಿಲ್ಲ, ಆದರೆ ಪ್ರತಿ ಉತ್ತರವನ್ನು ರೂಪಿಸುತ್ತದೆ.

ಸ್ಟ್ರೀಮಿಂಗ್

ಸಂಪೂರ್ಣ ಉತ್ತರಕ್ಕಾಗಿ ಕಾಯುವ ಬದಲು, API ಉತ್ಪಾದನೆಯಾಗುತ್ತಿದ್ದಂತೆಯೇ ಪಠ್ಯವನ್ನು ಕಳುಹಿಸಬಹುದು, ಆಗ ಬಳಕೆದಾರರಿಗೆ ಪದಗಳು ತಕ್ಷಣ ಕಾಣಿಸುತ್ತವೆ. ಇದರಿಂದ ಚಾಟ್ ಇಂಟರ್‌ಫೇಸ್ ಹೆಚ್ಚು ವೇಗವಾಗಿ ಅನಿಸುತ್ತದೆ.

ಬೆಲೆ ನಿಗದಿ ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ

ಸೆಪ್ಟೆಂಬರ್ 2026 ರಂತೆ, ಒದಗಿಸುವವರ ಸ್ವಂತ ಬೆಲೆ ಪುಟಗಳಲ್ಲಿ ಪರಿಶೀಲಿಸಲಾಗಿದೆ:

ಕೆಲವು ಒದಗಿಸುವವರು ಪಾವತಿಸುವ ಮೊದಲು ಪ್ರಯತ್ನಿಸಲು ಅವಕಾಶವನ್ನೂ ನೀಡುತ್ತಾರೆ: Anthropic ಹೊಸ ಬಳಕೆದಾರರಿಗೆ ಸಣ್ಣ ಮೊತ್ತದ ಉಚಿತ ಕ್ರೆಡಿಟ್ ನೀಡುತ್ತದೆ, ಮತ್ತು Google ನ Gemini API ಕೆಲವು ಮಾದರಿಗಳಲ್ಲಿ ಉಚಿತ ಶ್ರೇಣಿ ಹೊಂದಿದೆ — ಆದರೆ ಅದರಲ್ಲಿ ಕಳುಹಿಸಿದ ವಿಷಯವನ್ನು Google ತನ್ನ ಉತ್ಪನ್ನಗಳ ಸುಧಾರಣೆಗೆ ಬಳಸಬಹುದು ಎಂಬ ಎಚ್ಚರಿಕೆ ಇದೆ.

ಒದಗಿಸುವವರ ಸಣ್ಣ, ವೇಗದ ಮಾದರಿಗಳು ಮತ್ತು ದೊಡ್ಡ ಮಾದರಿಗಳ ಬೆಲೆಗಳ ನಡುವೆ ಬಹಳ ವ್ಯತ್ಯಾಸವಿದೆ, ಮತ್ತು ಬೆಲೆಗಳು ಆಗಾಗ ಬದಲಾಗುತ್ತವೆ, ಆದ್ದರಿಂದ ಅವನ್ನು ಇಲ್ಲಿ ಉಲ್ಲೇಖಿಸಿಲ್ಲ. ಯಾವುದೇ ವೈಶಿಷ್ಟ್ಯಕ್ಕೆ ಸರಳ ಅಂದಾಜು ಇದು: (ಇನ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳು × ಇನ್‌ಪುಟ್ ಬೆಲೆ + ಔಟ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳು × ಔಟ್‌ಪುಟ್ ಬೆಲೆ) × ತಿಂಗಳಿಗೆ ವಿನಂತಿಗಳ ಸಂಖ್ಯೆ. ನಂತರ ಒಂದು ಅಂಚು ಸೇರಿಸಿ, ಮತ್ತು ಒದಗಿಸುವವರ ಡ್ಯಾಶ್‌ಬೋರ್ಡ್‌ನಲ್ಲಿ ತಿಂಗಳ ಖರ್ಚಿನ ಮಿತಿ ನಿಗದಿ ಮಾಡಿ.

ಒಂದು ಉದಾಹರಣೆ: “ಈ ಟಿಕೆಟ್ ಸಾರಾಂಶ” ಬಟನ್

ಒಂದು ಸಣ್ಣ ಬೆಂಬಲ ತಂಡಕ್ಕೆ ಉದ್ದದ ಗ್ರಾಹಕ ಇಮೇಲ್ ಸರಣಿಯನ್ನು ಮೂರು ಬುಲೆಟ್‌ಗಳು ಮತ್ತು ಸೂಚಿತ ಉತ್ತರವಾಗಿ ಬದಲಾಯಿಸುವ ಬಟನ್ ಬೇಕು.

1. ಕೀ ಪಡೆಯಿರಿ. ಒಂದು ಒದಗಿಸುವವರೊಂದಿಗೆ ಖಾತೆ ರಚಿಸಿ ಮತ್ತು API ಕೀ ಉತ್ಪಾದಿಸಿ. ಕಡಿಮೆ ತಿಂಗಳ ಖರ್ಚಿನ ಮಿತಿ ನಿಗದಿ ಮಾಡಿ.
2. ಕೀಯನ್ನು ರಹಸ್ಯವಾಗಿ ಸಂಗ್ರಹಿಸಿ ನಿಮ್ಮ ಸರ್ವರ್‌ನಲ್ಲಿ, ANTHROPIC_API_KEY ಅಥವಾ OPENAI_API_KEY ನಂತಹ ಹೆಸರಿನಲ್ಲಿ — ಪುಟದ ಕೋಡ್‌ನಲ್ಲಿ ಎಂದಿಗೂ ಇಲ್ಲ. ಪರಿಸರ ವೇರಿಯಬಲ್‌ಗಳು ಮತ್ತು ರಹಸ್ಯಗಳು ನೋಡಿ.
3. ಸರ್ವರ್ ರೂಟ್ ಸೇರಿಸಿ, POST /api/summarise, ಅದು:
   • ವ್ಯಕ್ತಿ ಲಾಗಿನ್ ಆಗಿದ್ದಾನೆ ಮತ್ತು ಬೆಂಬಲ ತಂಡದ ಸದಸ್ಯ ಎಂದು ಪರಿಶೀಲಿಸುತ್ತದೆ;
   • ಡೇಟಾಬೇಸ್‌ನಿಂದ ಟಿಕೆಟ್ ಲೋಡ್ ಮಾಡುತ್ತದೆ;
   • ಒದಗಿಸುವವರಿಗೆ ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್ (“ಮೂರು ಬುಲೆಟ್‌ಗಳಲ್ಲಿ ಸಾರಾಂಶಗೊಳಿಸಿ, ನಂತರ ಸಭ್ಯ ಉತ್ತರ ಬರೆಯಿರಿ; ಆರ್ಡರ್ ಸಂಖ್ಯೆಗಳನ್ನು ಕಂಡುಹಿಡಿಯಬೇಡಿ”) ಮತ್ತು ಟಿಕೆಟ್ ಪಠ್ಯವನ್ನು ಕಳುಹಿಸುತ್ತದೆ;
   • ಔಟ್‌ಪುಟ್ ಟೋಕನ್ ಮಿತಿ ಸೆಟ್ಟಿಂಗ್ ಮೂಲಕ ಉತ್ತರದ ಉದ್ದವನ್ನು ಸೀಮಿತಗೊಳಿಸುತ್ತದೆ;
   • ಫಲಿತಾಂಶವನ್ನು ಹಿಂತಿರುಗಿಸಿ, ಬಳಸಿದ ಟೋಕನ್‌ಗಳ ಸಂಖ್ಯೆಯನ್ನು ದಾಖಲಿಸುತ್ತದೆ.
4. ಬಟನ್ ನಿಮ್ಮ ರೂಟ್ ಅನ್ನು ಕರೆಯುತ್ತದೆ, ಒದಗಿಸುವವರನ್ನು ನೇರವಾಗಿ ಅಲ್ಲ, ಮತ್ತು ಸಾರಾಂಶ ಬರುತ್ತಿದ್ದಂತೆ ಪ್ರದರ್ಶಿಸುತ್ತದೆ.
5. ವೈಫಲ್ಯವನ್ನು ನಿರ್ವಹಿಸಿ. ಒದಗಿಸುವವರು ನಿಧಾನವಾಗಿದ್ದರೆ ಅಥವಾ ದೋಷ ನೀಡಿದರೆ, “ಈಗ ಸಾರಾಂಶ ಮಾಡಲು ಆಗಲಿಲ್ಲ” ಎಂದು ತೋರಿಸಿ, ಟಿಕೆಟ್ ಬಳಕೆಗೆ ಸಿದ್ಧವಾಗಿರಲಿ.
6. ಅಳೆಯಿರಿ. ಒಂದು ವಾರದ ನಂತರ ಟೋಕನ್ ಲಾಗ್ ನೋಡಿ. ಹೆಚ್ಚಿನ ವೆಚ್ಚ ಉದ್ದದ ಇಮೇಲ್ ಸರಣಿಗಳಿಂದ ಬಂದರೆ, ಕಳುಹಿಸುವ ಮೊದಲು ಉಲ್ಲೇಖಿಸಿದ ಹಳೆಯ ಇತಿಹಾಸವನ್ನು ಕತ್ತರಿಸಿ.

ಏನು ಇಲ್ಲ ಎಂದು ಗಮನಿಸಿ: ಮಾದರಿ ತರಬೇತಿ ಇಲ್ಲ, ವಿಶೇಷ ಮೂಲಸೌಕರ್ಯವೂ ಇಲ್ಲ. ಒಂದು ಕೀ, ಒಂದು ಸರ್ವರ್ ರೂಟ್, ಒಂದು ಚೆನ್ನಾಗಿ ಬರೆದ ಪ್ರಾಂಪ್ಟ್.

ಪ್ರಮುಖ ಪದಗಳು

• API ಕೀ: ನಿಮ್ಮ ಖಾತೆಯನ್ನು ಒದಗಿಸುವವರಿಗೆ ಗುರುತಿಸುವ ರಹಸ್ಯ. ಅದನ್ನು ಹೊಂದಿರುವ ಯಾರಾದರೂ ನಿಮ್ಮ ಹಣ ಖರ್ಚು ಮಾಡಬಹುದು.
• ಮಾದರಿ (Model): ನೀವು ಕರೆಯುವ ನಿರ್ದಿಷ್ಟ LLM. ಒದಗಿಸುವವರು ವಿಭಿನ್ನ ಬೆಲೆ ಮತ್ತು ವೇಗದ ಹಲವು ಗಾತ್ರಗಳನ್ನು ನೀಡುತ್ತಾರೆ.
• ತಾಪಮಾನ (Temperature): ಉತ್ತರಗಳು ಎಷ್ಟು ವೈವಿಧ್ಯಮಯವಾಗಿರಬೇಕು ಎಂಬ ಸೆಟ್ಟಿಂಗ್. ಕಡಿಮೆ ಇದ್ದರೆ ಹೆಚ್ಚು ಊಹಿಸಬಹುದಾದದ್ದು.
• ಗರಿಷ್ಠ ಟೋಕನ್‌ಗಳು (Max tokens): ಉತ್ತರದ ಉದ್ದದ ಮಿತಿ, ಇದು ವೆಚ್ಚವನ್ನೂ ಮಿತಿಗೊಳಿಸುತ್ತದೆ.
• ದರ ಮಿತಿ (Rate limit): ನಿಮ್ಮ ಖಾತೆ ನಿಮಿಷಕ್ಕೆ ಎಷ್ಟು ವಿನಂತಿಗಳು ಅಥವಾ ಟೋಕನ್‌ಗಳನ್ನು ಬಳಸಬಹುದು.
• ಎಂಬೆಡಿಂಗ್‌ಗಳು (Embeddings): ಪಠ್ಯದ ಅರ್ಥವನ್ನು ಪ್ರತಿನಿಧಿಸುವ ಸಂಖ್ಯೆಗಳು, ನಿಮ್ಮ ಸ್ವಂತ ದಾಖಲೆಗಳ ಮೇಲೆ ಹುಡುಕಾಟಕ್ಕೆ ಬಳಸಲಾಗುತ್ತದೆ.
• RAG (retrieval-augmented generation): ನಿಮ್ಮ ಸ್ವಂತ ಡೇಟಾದಿಂದ ಸಂಬಂಧಿತ ಭಾಗಗಳನ್ನು ಹುಡುಕಿ ಪ್ರಾಂಪ್ಟ್‌ನಲ್ಲಿ ಸೇರಿಸುವುದು, ಆಗ ಮಾದರಿ ನಿಮ್ಮ ವಿಷಯದಿಂದ ಉತ್ತರಿಸುತ್ತದೆ.
• ಟೂಲ್ ಬಳಕೆ / ಫಂಕ್ಷನ್ ಕಾಲಿಂಗ್: “ಆರ್ಡರ್ ಸ್ಥಿತಿ ನೋಡಿ” ನಂತಹ ನಿರ್ದಿಷ್ಟ ಫಂಕ್ಷನ್ ಚಲಾಯಿಸಲು ಮಾದರಿ ನಿಮ್ಮ ಆ್ಯಪ್‌ಗೆ ಕೇಳುವ ವ್ಯವಸ್ಥೆ.

ಸಾಮಾನ್ಯ ತಪ್ಪುಗಳು ಮತ್ತು ತಪ್ಪು ಕಲ್ಪನೆಗಳು

• ಕೀಯನ್ನು ಫ್ರಂಟ್‌ಎಂಡ್ ಕೋಡ್‌ನಲ್ಲಿ ಇಡುವುದು. ಇದು ಅತ್ಯಂತ ದುಬಾರಿ ತಪ್ಪು. ಬ್ರೌಸರ್ ಕೋಡ್ ಸಾರ್ವಜನಿಕ. ಯಾವಾಗಲೂ ನಿಮ್ಮ ಸರ್ವರ್‌ನಿಂದ ಕರೆ ಮಾಡಿ. ಇದನ್ನೂ ಇತರ ಬಿಡುಗಡೆ ಪರಿಶೀಲನೆಗಳೊಂದಿಗೆ AI ನಿಂದ ನಿರ್ಮಿಸಿದ ಆ್ಯಪ್‌ಗಳಿಗೆ ಭದ್ರತಾ ಪಟ್ಟಿ ಒಳಗೊಂಡಿದೆ.
• ಖರ್ಚಿನ ಮಿತಿ ಅಥವಾ ಬಳಕೆದಾರರ ಮಿತಿ ಇಲ್ಲದಿರುವುದು. ಒಂದು ದೋಷ, ಲೂಪ್ ಅಥವಾ ದುರುಪಯೋಗಿ ಬಳಕೆದಾರ ವೆಚ್ಚವನ್ನು ವೇಗವಾಗಿ ಏರಿಸಬಹುದು. ಒದಗಿಸುವವರ ಮಿತಿ ನಿಗದಿ ಮಾಡಿ, ಮತ್ತು ನಿಮ್ಮ ಆ್ಯಪ್‌ನಲ್ಲಿ ಪ್ರತಿ ಬಳಕೆದಾರರ ವಿನಂತಿಗಳನ್ನು ಸೀಮಿತಗೊಳಿಸಿ.
• ಎಲ್ಲವನ್ನೂ ಪ್ರತಿ ಬಾರಿ ಕಳುಹಿಸುವುದು. ಪೂರ್ಣ ದಾಖಲೆಗಳು ಮತ್ತು ಸಂಪೂರ್ಣ ಚಾಟ್ ಇತಿಹಾಸ ಇನ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳನ್ನು ಗುಣಿಸುತ್ತವೆ. ಕತ್ತರಿಸಿ, ಹಳೆಯ ಸಂದೇಶಗಳನ್ನು ಸಾರಾಂಶಗೊಳಿಸಿ, ಅಥವಾ ಸಂಬಂಧಿತ ಭಾಗಗಳನ್ನು ಮಾತ್ರ ಹಿಂಪಡೆಯಿರಿ.
• ಔಟ್‌ಪುಟ್ ಅನ್ನು ಕುರುಡಾಗಿ ನಂಬುವುದು. ಮಾದರಿಗಳು ತಪ್ಪಾದ ವಿಷಯಗಳನ್ನು ಆತ್ಮವಿಶ್ವಾಸದಿಂದ ಹೇಳಬಹುದು. ವಾಸ್ತವಗಳು, ಬೆಲೆಗಳು ಅಥವಾ ಕಾನೂನು ಅಥವಾ ವೈದ್ಯಕೀಯ ವಿಷಯಗಳಿಗೆ, ನಿಮ್ಮ ಸ್ವಂತ ಡೇಟಾದಲ್ಲಿ ಉತ್ತರಗಳನ್ನು ಆಧರಿಸಿ ಮೂಲಗಳನ್ನು ತೋರಿಸಿ, ಅಥವಾ ಒಬ್ಬ ವ್ಯಕ್ತಿ ಪರಿಶೀಲಿಸಲಿ.
• ಬಳಕೆದಾರರ ಇನ್‌ಪುಟ್ ನಿಮ್ಮ ನಿಯಮಗಳನ್ನು ಮೀರಲು ಬಿಡುವುದು. ಬಳಕೆದಾರರು “ನಿಮ್ಮ ಸೂಚನೆಗಳನ್ನು ನಿರ್ಲಕ್ಷಿಸಿ” ಎಂದು ಟೈಪ್ ಮಾಡಬಹುದು. ಅನುಮತಿಗಳು ಮತ್ತು ಸೂಕ್ಷ್ಮ ಕ್ರಿಯೆಗಳನ್ನು ಪ್ರಾಂಪ್ಟ್‌ನಲ್ಲಿ ಮಾತ್ರವಲ್ಲ, ನಿಮ್ಮ ಸರ್ವರ್ ಕೋಡ್‌ನಲ್ಲಿ ಇಡಿ.
• ದೊಡ್ಡ ಮಾದರಿಯಿಂದ ಆರಂಭಿಸುವುದು. ಮೊದಲು ಸಣ್ಣ, ಅಗ್ಗದ ಮಾದರಿಯನ್ನು ಪ್ರಯತ್ನಿಸಿ; ಗುಣಮಟ್ಟ ಬೇಕಾದರೆ ಮಾತ್ರ ಮೇಲೆ ಹೋಗಿ.
• ವೈಯಕ್ತಿಕ ಡೇಟಾವನ್ನು ಯೋಚಿಸದೆ ಕಳುಹಿಸುವುದು. ಒದಗಿಸುವವರ ಡೇಟಾ ಬಳಕೆ ನಿಯಮಗಳನ್ನು ಪರಿಶೀಲಿಸಿ, ವಿಶೇಷವಾಗಿ ಉಚಿತ ಶ್ರೇಣಿಗಳಲ್ಲಿ, ಮತ್ತು ವೈಶಿಷ್ಟ್ಯಕ್ಕೆ ಬೇಕಾದದ್ದನ್ನು ಮಾತ್ರ ಕಳುಹಿಸಿ.

AI ಬಿಲ್ಡರ್‌ಗೆ ಏನು ಕೇಳಬೇಕು

ಟಿಕೆಟ್ ಪುಟದಲ್ಲಿ “Summarise” ಬಟನ್ ಸೇರಿಸಿ. ಅದು OPENAI_API_KEY ರಹಸ್ಯವನ್ನು ಬಳಸುವ ಸರ್ವರ್ ರೂಟ್ ಅನ್ನು ಕರೆಯುತ್ತದೆ (ಬ್ರೌಸರ್‌ಗೆ ಎಂದಿಗೂ ತೋರಿಸದೆ), ಬಳಕೆದಾರ ಲಾಗಿನ್ ಆಗಿದ್ದಾನೆ ಎಂದು ಪರಿಶೀಲಿಸುತ್ತದೆ, ಈ ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್‌ನೊಂದಿಗೆ ಟಿಕೆಟ್ ಪಠ್ಯ ಕಳುಹಿಸುತ್ತದೆ: […], ಉತ್ತರವನ್ನು 300 ಟೋಕನ್‌ಗಳಿಗೆ ಸೀಮಿತಗೊಳಿಸುತ್ತದೆ, ಉತ್ತರವನ್ನು ಪುಟಕ್ಕೆ ಸ್ಟ್ರೀಮ್ ಮಾಡುತ್ತದೆ, ಮತ್ತು ಕರೆ ವಿಫಲವಾದರೆ ಸ್ನೇಹಪರ ದೋಷ ತೋರಿಸುತ್ತದೆ. ಪ್ರತಿ ವಿನಂತಿಗೆ ಬಳಸಿದ ಟೋಕನ್‌ಗಳನ್ನು ದಾಖಲಿಸಿ, ಮತ್ತು ಪ್ರತಿ ಬಳಕೆದಾರರಿಗೆ ಗಂಟೆಗೆ 30 ಸಾರಾಂಶಗಳಿಗೆ ಮಿತಿ ಹಾಕಿ.

ಪೂರ್ಣ ಚಾಟ್ ಅನುಭವಕ್ಕಾಗಿ, AI ಚಾಟ್‌ಬಾಟ್ ಆ್ಯಪ್ ನಿರ್ಮಿಸುವುದು ಹೇಗೆ ನೋಡಿ; ಇತರ ಆಲೋಚನೆಗಳಿಗೆ, ನಿಮ್ಮ ಆ್ಯಪ್‌ಗೆ AI ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಸೇರಿಸುವುದು ಹೇಗೆ. API ಗಳೇ ನಿಮಗೆ ಹೊಸದಾಗಿದ್ದರೆ, API ಎಂದರೇನು ಎಂಬುದರಿಂದ ಆರಂಭಿಸಿ.

Mythex ನಿರ್ಮಿಸಿದ ಆ್ಯಪ್‌ಗಳಲ್ಲಿ LLM API

Mythex ನೊಂದಿಗೆ ನಿರ್ಮಿಸುವಾಗ, ನಿಮ್ಮ ಆ್ಯಪ್‌ನೊಳಗಿನ AI ನಿಮ್ಮ ಸ್ವಂತ ಒದಗಿಸುವವರ ಕೀಯನ್ನು ಬಳಸುತ್ತದೆ. ನೀವು ಅದನ್ನು ಪ್ರಾಜೆಕ್ಟ್ ರಹಸ್ಯವಾಗಿ ಸೇರಿಸುತ್ತೀರಿ, ಅಥವಾ Mythex ಅಗತ್ಯವಿದ್ದಾಗ ಚಾಟ್‌ನಲ್ಲಿ ತೋರಿಸುವ ರಹಸ್ಯಗಳ ಕಾರ್ಡ್ ಮೂಲಕ, ಮತ್ತು ಸರ್ವರ್‌ನಲ್ಲಿ ಕರೆ ಮಾಡಲು ಏಜೆಂಟ್‌ಗೆ ಕೇಳುತ್ತೀರಿ. ಒದಗಿಸುವವರ ಬಳಕೆಯ ಬಿಲ್ ನಿಮ್ಮ ಒದಗಿಸುವವರ ಖಾತೆಗೆ ಹೋಗುತ್ತದೆ, Mythex ನಿರ್ಮಾಣ ಕ್ರೆಡಿಟ್‌ಗಳಿಗೆ ಅಲ್ಲ. Mythex ನಿಮ್ಮ ಆ್ಯಪ್‌ನ ಬಳಕೆದಾರರಿಗೆ ಟೋಕನ್‌ಗಳನ್ನು ಅಥವಾ ಅಂತರ್ನಿರ್ಮಿತ ಜ್ಞಾನ-ಆಧಾರ ಉತ್ಪನ್ನವನ್ನು ಒದಗಿಸುವುದಿಲ್ಲ; ದರ ಮಿತಿ ಮತ್ತು ವೆಚ್ಚ ನಿಯಂತ್ರಣಗಳನ್ನು ವಿನ್ಯಾಸ ಮಾಡಿ ಪರೀಕ್ಷಿಸುವುದು ನಿಮ್ಮ ಜವಾಬ್ದಾರಿ. ನಿಮ್ಮ ಸ್ವಂತ API ಕೀಗಳೊಂದಿಗೆ AI ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಸೇರಿಸಿ ದಸ್ತಾವೇಜಿನಲ್ಲಿ ಆರಂಭಿಕ ಪ್ರಾಂಪ್ಟ್ ಇದೆ, ಮತ್ತು AI ಆ್ಯಪ್ ಬಿಲ್ಡರ್ ಪುಟ ಎಲ್ಲಿಂದ ಆರಂಭಿಸಬೇಕು ಎಂದು ತೋರಿಸುತ್ತದೆ.

ಪ್ರಶ್ನೆಗಳು