Rate limiting ምንድን ነው? ለመተግበሪያ ገንቢዎች ቀላል ማብራሪያ

Rate limiting አንድ ሰው በተወሰነ ጊዜ ወደ ሥርዓት ስንት ጥያቄ መላክ እንደሚችል የሚገድብ ህግ ነው፤ ለምሳሌ በደቂቃ 5 የመግቢያ ሙከራዎች፣ ወይም በሰዓት 100 የAPI ጥሪዎች። ገደቡ ከደረሰ በኋላ ተጨማሪ ጥያቄዎች የጊዜ መስኮቱ እስኪታደስ ድረስ ይከለከላሉ (ብዙ ጊዜ 429 Too Many Requests የሚል የስህተት ኮድ ይዘው)። ይህ መተግበሪያዎችን ከአላግባብ አጠቃቀም ይጠብቃል፣ አንድ ከባድ ተጠቃሚ ለሁሉም እንዳያዘገይ ያደርጋል፣ እና ወጪ ከቁጥጥር ውጭ እንዳይሄድ ይከላከላል።

Rate limiting ከሁለት ወገን ታያላችሁ፦ የምትጠሯቸው አገልግሎቶች እናንተን ይገድቡላችኋል፣ የራሳችሁ መተግበሪያ ደግሞ ተጠቃሚዎቹን መገደብ አለበት።

ከAI ጋር ሲገነቡ rate limiting ለምን ያስፈልጋል

AI የሚገነቡ መተግበሪያዎች ብዙ ጊዜ ከሚከፈልባቸው አገልግሎቶች ጋር ይገናኛሉ፤ ለምሳሌ AI ሞዴሎች፣ ኢሜይል፣ SMS፣ ካርታዎች፤ እያንዳንዱ ጥሪ ገንዘብ ያስወጣል። ስለዚህ rate limiting የደህንነት ባህሪም የበጀት ባህሪም ነው።

• የወጪ ቁጥጥር። መተግበሪያዎ «AIን ጠይቅ» ሳጥን ቢኖረውና ገደብ ከሌለው፣ ቦት በአንድ ሌሊት ሺዎች ጥያቄ ሊልክ ይችላል። ለእያንዳንዳቸው ይከፍላሉ።
• ደህንነት። በመግቢያ ቅጹ ላይ ገደብ ከሌለ አጥቂ ለአንድ መለያ ሺዎች የይለፍ ቃሎችን ሊሞክር ይችላል። በደቂቃ ጥቂት ሙከራዎች ገደብ ይህንን የማይቻል ያደርገዋል።
• በሕይወት መቆየት። አንድ የተሳሳተ ስክሪፕት፣ አንዳንድ ጊዜ የራስዎ ኮድ በሉፕ ውስጥ ተጣብቆ፣ ዳታቤዝዎን ሊያጨናንቀውና መተግበሪያውን ሊያቋርጥ ይችላል።
• የሌሎች አገልግሎቶችን ገደብ ማክበር። መተግበሪያዎ የውጭ API ን ብዙ ጊዜ ከጠራ፣ እናንተ 429 ስህተቶችን ታገኛላችሁ፤ ባህሪያቱም ለተጠቃሚዎቻችሁ ይበላሻሉ።

AI ገንቢዎች የጠየቃችሁትን ይገነባሉ። ገደቦችን ካልጠቀሳችሁ ብዙ ጊዜ ይቀራሉ።

ዕለታዊ ምሳሌ

የቡና ሱቅ ነጻ ተጨማሪ ቡና ፖሊሲ አስቡ፦ «በአንድ ጉብኝት አንድ ተጨማሪ ለእያንዳንዱ ደንበኛ።»

• ማንንም ቡና ከመደሰት አያግድም።
• አንድ ሰው ቀኑን ሙሉ ቆሞ ለቢሮው ሁሉ ተጨማሪ እንዳይሞላ ያቆመዋል።
• ለአራተኛ ተጨማሪ ሲጠይቅ ባሪስታው በትህትና «አሁን አይሆንም» ይላል፤ ያ ነው 429።

ጥሩ rate limit ለተለመዱ ደንበኞች የማይታይ ሲሆን ያልተለመደ ነገር የሚያደርግን ሰው ብቻ ይነካል።

Rate limiting እንዴት ይሰራል

Rate limiter ሦስት ነገሮች ያስፈልገዋል፦

ጥያቄ ሲመጣ መተግበሪያው ለዚያ «ማን» ያለውን ቆጠራ ይፈትሻል። ከገደቡ በታች፦ ጥያቄው ይቀጥላል እና ቆጠራው ይጨምራል። ከገደቡ በላይ፦ ጥያቄው ውድቅ ይደረጋል።

የተለመዱ የመቁጠሪያ መንገዶች ጥቂት ናቸው፦

ቆጠራዎቹ በፈጣን እና በጋራ በሚጠቀሙበት ቦታ መቀመጥ አለባቸው። በአንድ ትንሽ አገልጋይ ላይ ማህደረ ትውስታ ይበቃል። መተግበሪያ በብዙ ማሽኖች ላይ ሲሄድ ግን ቆጣሪው ብዙ ጊዜ እንደ Redis ወይም ዳታቤዝ ባለ የጋራ ማከማቻ ውስጥ ይቀመጣል፤ አለበለዚያ እያንዳንዱ ማሽን ለብቻው ይቆጥራል እና እውነተኛው ገደብ ብዙ እጥፍ ይሆናል።

ገደብ የተላለፈ ምላሽ ምን ይመስላል

ጥያቄ ገደቡን ሲያልፍ በደንብ የተሠራ API የሚከተለውን ይመልሳል፦

• የሁኔታ ኮድ 429 Too Many Requests።
• ብዙ ጊዜ Retry-After ራስጌ፣ ምን ያህል ሰከንድ መጠበቅ እንዳለብዎ የሚነግር።
• አንዳንድ ጊዜ የእርስዎን ገደብና በዚህ መስኮት ስንት ጥያቄ እንደቀረ የሚያሳዩ ራስጌዎች (ስሞቻቸው በአቅራቢው ይለያያል)።

መተግበሪያዎ ለ429 በመጠበቅና በኋላ በድጋሚ በመሞከር መመለስ አለበት፤ በሐሳብ ደረጃ exponential backoff በመጠቀም፤ ይህም ከእያንዳንዱ ያልተሳካ ሙከራ በኋላ የበለጠ መጠበቅ ማለት ነው (1 ሰከንድ፣ ከዚያ 2፣ ከዚያ 4)፤ አገልግሎቱን በተከታታይ ከመምታት ይልቅ።

የሥራ ምሳሌ፦ የAI የጽሑፍ ረዳት

ተጠቃሚዎች ጽሑፍ የሚለጥፉበትና AI እንደገና የሚጽፍላቸው መተግበሪያ ገንብተዋል እንበል።

ገደብ ከሌለ፦ አንድ ሰው ስክሪፕት በአንድ ሌሊት 20,000 ጥያቄዎች ይልካል። የAI አቅራቢው ሂሳብ ይጨምራል፤ የአቅራቢውን የራሱ rate limit ይደርሳሉ፤ እውነተኛ ተጠቃሚዎችም ጠዋት ሙሉ ስህተቶችን ያያሉ።

ተገቢ ገደቦች ካሉ፦

1. በገቡ ተጠቃሚ፦ በነጻ ዕቅድ በሰዓት 30 እንደገና መጻፎች፣ በክፍያ ዕቅድ 300። ገደቡን ሲያልፍ ተጠቃሚው ያያል፦ «የዚህን ሰዓት ገደብ ደርሰዋል። ከ12 ደቂቃ በኋላ እንደገና ይሞክሩ ወይም ያሻሽሉ።»
2. በIP አድራሻ በምዝገባ ቅጹ ላይ፦ በሰዓት 5 ምዝገባዎች፤ ቦቶች በተጠቃሚ ገደቡን ለማለፍ ሺዎች ነጻ መለያዎች እንዳይፈጥሩ።
3. የወጪ ገደብ በAI አቅራቢዎ ዳሽቦርድ ላይ፤ ሌላ ሁሉ ካልተሳካ እንደ የመጨረሻ ጥበቃ።
4. የአቅራቢውን ገደቦች መቆጣጠር፦ አቅራቢው 429 ከመለሰ አገልጋይዎ አንድ ወይም ሁለት ጊዜ ይጠብቃል እና እንደገና ይሞክራል፤ ከዚያም ወዳጃዊ «ስራ ላይ ነን፤ እባክዎ እንደገና ይሞክሩ» መልዕክት ያሳያል።

ገደቦቹ በአገልጋዩ ላይ ይፈተሻሉ። በአሳሹ ውስጥ ብቻ ያለ ገደብ — ለምሳሌ 30 ጊዜ ከተጫነ በኋላ ቁልፉን ማጥፋት — የAPI ን በቀጥታ የሚጠራ ማንኛውም ሰው ሊያልፈው ይችላል።

ቁልፍ ቃላት

የተለመዱ የተሳሳቱ ግንዛቤዎች

• «Rate limiting ለትላልቅ መተግበሪያዎች ብቻ ነው።» ትናንሽ መተግበሪያዎችም ዒላማ ናቸው፤ ምክንያቱም ቦቶች ክፍት ቅጾችንና AI መጨረሻ ነጥቦችን በመላው ኢንተርኔት ይቃኛሉ። የአላግባብ አጠቃቀም ዋጋ በመጠንዎ አይወሰንም።
• «ቁልፉን መደበቅ ብቻ በቂ ነው።» በአሳሽ በኩል ያሉ ገደቦች ጨዋነት እንጂ ጥበቃ አይደሉም። እውነተኛ ገደቦች በአገልጋዩ ላይ መተግበር አለባቸው።
• «በIP ላይ የተመሠረቱ ገደቦች ሁልጊዜ ፍትሃዊ ናቸው።» ብዙ ሰዎች አንድ IP አድራሻ ሊጋሩ ይችላሉ፤ ቢሮ፣ ትምህርት ቤት ወይም የሞባይል አውታረ መረብ። ሰዎች ሲገቡ በተጠቃሚ ላይ የተመሠረቱ ገደቦች ፍትሃዊ ናቸው።
• «429 ማለት አገልግሎቱ ተበላሽቷል ማለት ነው።» ማለት በጣም ብዙ ጊዜ እየጠሩት ነው ማለት ነው። ኮድዎን ለሉፖች ያረጋግጡ፤ ብዙም የማይለወጡ ውጤቶችን ይሸጎጡ — caching ምንድን ነው ይመልከቱ።
• «Rate limiting የወጪ ገደብን ይተካል።» ሁለቱንም ይጠቀሙ። በመተግበሪያዎ ውስጥ ያሉ ገደቦች ስህተት ሊኖራቸው ይችላል፤ የአቅራቢው የወጪ ገደብ ደግሞ የመጨረሻ መከላከያዎ ነው።

ከAI ገንቢችሁ ምን ብላችሁ ጠይቁ

• «በመግቢያ፣ በምዝገባ፣ በይለፍ ቃል ዳግም ማስጀመሪያና በAI መጨረሻ ነጥብ ላይ በአገልጋይ በኩል rate limiting ጨምር። ተገቢ ገደቦችን ጠቁም።»
• «እያንዳንዱ የገባ ተጠቃሚ በሰዓት [N] የAI ጥያቄዎች ብቻ እንዲኖረው አድርግ፤ ሲደርስ ግልጽ የሆነ መልዕክት ከመጠበቂያ ጊዜ ጋር አሳይ።»
• «የውጭ API 429 ሲመልስ እስከ 3 ጊዜ በexponential backoff እንደገና ሞክር፤ ከዚያ ወዳጃዊ ስህተት አሳይ።»
• «የrate-limit ቆጣሪዎቹ የት ይቀመጣሉ? መተግበሪያው ከአንድ በላይ ማሽን ላይ ቢሄድ ይሠራሉ?»
• «ተጠቃሚ ወይም IP ገደብ ሲደርስ መዝግብ፤ አላግባብ መጠቀምን ለማየት።»
• «ይህ መተግበሪያ የሚጠራቸው ውጭ አገልግሎቶች የትኞቹ ናቸው፤ የrate limitsቸውስ ስንት ነው?»

Rate limiting በMythex

የMythex ሰነዶች ለAI ባህሪያት ግልጽ ናቸው፦ በሚገነቧቸው መተግበሪያዎች ውስጥ rate limits፣ ደህንነትና የወጪ ቁጥጥሮች የእናንተ ናቸው — AI መተግበሪያ መገንባት ይመልከቱ። ባህሪውን በሚጠይቁበት ተመሳሳይ መልዕክት ላይ ገደብ እንዲጨምር ወኪሉን ይጠይቁ። በPro ላይ የታተመ አገልግሎት በከባድ ትራፊክ ጊዜ እስከ ሦስት ማሽኖች ላይ ሊሄድ ይችላል (የማስተናገጃ ገደቦች ይመልከቱ)፤ ስለዚህ ቆጣሪዎች በአንድ አገልጋይ ማህደረ ትውስታ ሳይሆን በዳታቤዙ ውስጥ እንዲቀመጡ ይጠይቁ።

ተዛማጅ ንባብ፦ API ምንድን ነው፣ LLM APIዎችን እንዴት መጠቀም እንደሚቻል እና ለበAI የተገነቡ መተግበሪያዎች የደህንነት ዝርዝር።

ጥያቄዎች