Rate Limiting কী? অ্যাপ builder-দের জন্য সহজ ভাষায় একটি গাইড

Rate limiting হলো এমন একটি নিয়ম যা একটি নির্দিষ্ট সময়ে কেউ একটি সিস্টেমে কতগুলো অনুরোধ করতে পারবে তার সীমা বেঁধে দেয়, যেমন প্রতি মিনিটে ৫টি লগইন চেষ্টা, বা প্রতি ঘণ্টায় ১০০টি API কল। সীমায় পৌঁছালে আরও অনুরোধ সময়সীমা রিসেট না হওয়া পর্যন্ত প্রত্যাখ্যান করা হয়, সাধারণত 429 Too Many Requests ত্রুটি কোড সহ। এটি অ্যাপকে অপব্যবহার থেকে রক্ষা করে, একজন ভারী ব্যবহারকারী সবার জন্য ধীর করে দিতে পারে না, এবং অনিয়ন্ত্রিত খরচ ঠেকায়।

আপনি rate limiting-এর দুটি দিক দেখেন: আপনি যে সেবাগুলো কল করেন সেগুলো আপনাকে সীমিত করে, আর আপনার নিজের অ্যাপের উচিত তার ব্যবহারকারীদের সীমিত করা।

AI দিয়ে বানানোর সময় rate limiting কেন গুরুত্বপূর্ণ

AI-বানানো অ্যাপ প্রায়ই পেইড সেবার সাথে যুক্ত হয়, যেমন AI মডেল, ইমেইল, SMS, ম্যাপ, এবং প্রতিটি কলের খরচ আছে। তাই rate limiting একই সাথে নিরাপত্তা ফিচার এবং বাজেট ফিচার।

• খরচ নিয়ন্ত্রণ। আপনার অ্যাপে "AI-কে জিজ্ঞেস করুন" বক্স থাকে আর কোনো সীমা না থাকে, তবে একটি বট রাতারাতি হাজার হাজার অনুরোধ পাঠাতে পারে। প্রতিটির জন্য আপনাকে দাম দিতে হবে।
• নিরাপত্তা। লগইন ফর্মে সীমা না থাকলে একজন আক্রমণকারী একটি অ্যাকাউন্টে হাজার হাজার পাসওয়ার্ড চেষ্টা করতে পারে। প্রতি মিনিটে কয়েকটি চেষ্টার সীমা সেটি অব্যবহার্য করে তোলে।
• অনলাইনে থাকা। একটি ভুল আচরণকারী স্ক্রিপ্ট, কখনো আপনার নিজের কোড যা লুপে আটকে গেছে, আপনার ডেটাবেসকে ওভারলোড করে অ্যাপ বন্ধ করে দিতে পারে।
• অন্য সেবার সীমা মেনে চলা। আপনার অ্যাপ বাইরের API-কে খুব ঘন ঘন কল করলে আপনি 429 ত্রুটি পান, এবং আপনার ব্যবহারকারীদের জন্য ফিচার ভেঙে যায়।

AI builder আপনি যা চান তা-ই বানায়। আপনি সীমার কথা না বললে সেটি প্রায়ই বাদ পড়ে যায়।

একটি দৈনন্দিন উপমা

একটি কফি শপের বিনামূল্যের রিফিল নীতির কথা ভাবুন: "প্রতি ভিজিটে প্রতি গ্রাহকের একটি বিনামূল্যের রিফিল।"

• এটি কারও কফি উপভোগ করা থামায় না।
• এটি একজন ব্যক্তিকে সারাদিন কাউন্টারে দাঁড়িয়ে পুরো অফিসের জন্য ফ্লাস্ক ভরা থেকে বাধা দেয়।
• কেউ চতুর্থ রিফিল চাইলে বারিস্তা ভদ্রভাবে বলেন "এখন নয়" — সেটিই 429।

একটি ভালো rate limit সাধারণ গ্রাহকদের কাছে অদৃশ্য থাকে এবং শুধু অস্বাভাবিক কিছু করা কারও কাছেই ধরা পড়ে।

Rate limiting কীভাবে কাজ করে

একটি rate limiter-এর তিনটি জিনিস লাগে:

একটি অনুরোধ এলে অ্যাপ সেই "কে"-র গণনা দেখে। সীমার নিচে থাকলে অনুরোধ এগিয়ে যায় এবং গণনা বাড়ে। সীমা অতিক্রম করলে অনুরোধ প্রত্যাখ্যান করা হয়।

গণনার কয়েকটি সাধারণ উপায় আছে:

গণনাগুলো দ্রুত এবং ভাগাভাগি করা জায়গায় রাখতে হয়। একটি ছোট সার্ভারে মেমরি যথেষ্ট। একাধিক মেশিনে চললে কাউন্টার সাধারণত Redis-এর মতো একটি ভাগ করা স্টোর বা ডেটাবেসে থাকে, নয়তো প্রতিটি মেশিন আলাদা গোনে এবং আসল সীমা কয়েক গুণ বেড়ে যায়।

সীমা অতিক্রম করা উত্তর কেমন দেখায়

কোনো অনুরোধ সীমা অতিক্রম করলে ভালো API এমন উত্তর দেয়:

• স্ট্যাটাস কোড 429 Too Many Requests।
• প্রায়ই একটি Retry-After হেডার, যা বলে কতক্ষণ অপেক্ষা করতে হবে।
• কখনো হেডার যা আপনার সীমা এবং এই উইন্ডোতে কতগুলো বাকি আছে তা দেখায় (নাম প্রদানকারী অনুযায়ী ভিন্ন)।

আপনার অ্যাপের উচিত 429 পেলে অপেক্ষা করে পরে আবার চেষ্টা করা, আদর্শভাবে exponential backoff সহ, যেখানে প্রতিটি ব্যর্থ চেষ্টার পর আরও বেশি সময় অপেক্ষা করা হয় (১ সেকেন্ড, তারপর ২, তারপর ৪), সেবাটিকে বারবার আঘাত না করে।

একটি কাজের উদাহরণ: একটি AI লেখার সহায়ক

ধরুন আপনি এমন একটি অ্যাপ বানিয়েছেন যেখানে ব্যবহারকারী লেখা পেস্ট করেন এবং AI দিয়ে পুনর্লিখন পান।

সীমা ছাড়া: কেউ একটি স্ক্রিপ্ট লিখে রাতারাতি ২০,০০০ অনুরোধ পাঠায়। আপনার AI প্রদানকারীর বিল বাড়ে, এবং আপনার অ্যাকাউন্ট প্রদানকারীর নিজস্ব rate limit-এ পৌঁছে যায়, ফলে সকালে আসল ব্যবহারকারীরা ত্রুটি দেখেন।

যুক্তিসঙ্গত সীমা সহ:

1. প্রতি সাইন-ইন করা ব্যবহারকারী: বিনামূল্যের প্ল্যানে প্রতি ঘণ্টায় ৩০টি পুনর্লিখন, পেইড প্ল্যানে ৩০০টি। সীমা অতিক্রম করলে ব্যবহারকারী দেখেন: "এই ঘণ্টার সীমায় পৌঁছেছেন। ১২ মিনিট পর আবার চেষ্টা করুন, বা আপগ্রেড করুন।"
2. সাইন-আপ ফর্মে প্রতি IP ঠিকানা: প্রতি ঘণ্টায় ৫টি সাইন-আপ, যাতে বটরা ব্যবহারকারী-প্রতি সীমা এড়াতে হাজার হাজার বিনামূল্যের অ্যাকাউন্ট না খোলে।
3. আপনার AI প্রদানকারীর ড্যাশবোর্ডে একটি খরচের সীমা, সবকিছু ব্যর্থ হলে শেষ প্রতিরক্ষা হিসেবে।
4. প্রদানকারীর সীমা সামলানো: প্রদানকারী 429 দিলে আপনার সার্ভার একবার বা দুবার অপেক্ষা করে আবার চেষ্টা করে, তারপর একটি বন্ধুত্বপূর্ণ "ব্যস্ত, অনুগ্রহ করে আবার চেষ্টা করুন" বার্তা দেখায়।

সীমাগুলো সার্ভারে পরীক্ষা করা হয়। শুধু ব্রাউজারে থাকা সীমা, যেমন ৩০ ক্লিকের পর বোতাম নিষ্ক্রিয় করা, যে কেউ সরাসরি আপনার API কল করে এড়াতে পারে।

মূল শব্দাবলি

সাধারণ ভুল ধারণা

• "Rate limiting শুধু বড় অ্যাপের জন্য।" ছোট অ্যাপও লক্ষ্যবস্তু, কারণ বটরা খোলা ফর্ম ও AI endpoint-এর জন্য পুরো ইন্টারনেট স্ক্যান করে। অপব্যবহারের খরচ আপনার আকারের উপর নির্ভর করে না।
• "বাটন লুকিয়ে রাখলেই যথেষ্ট।" ব্রাউজার-পাশের সীমা সৌজন্যমূলক, সুরক্ষা নয়। আসল সীমা সার্ভারে প্রয়োগ করতে হবে।
• "IP-প্রতি সীমা সবসময় ন্যায্য।" অনেক মানুষ একটি IP ঠিকানা ভাগ করে, যেমন একটি অফিস, স্কুল বা মোবাইল নেটওয়ার্ক। ব্যবহারকারীরা সাইন-ইন করলে ব্যবহারকারী-প্রতি সীমা বেশি ন্যায্য।
• "429 মানে সেবাটি ভেঙে গেছে।" এর মানে আপনি এটিকে খুব ঘন ঘন কল করছেন। আপনার কোডে লুপ খুঁজুন, এবং যে ফল খুব কমই বদলায় তা ক্যাশ করুন, দেখুন ক্যাশিং কী।
• "Rate limiting একটি খরচের সীমার বদলি।" দুটোই ব্যবহার করুন। আপনার অ্যাপের সীমায় বাগ থাকতে পারে; প্রদানকারীর খরচের সীমা আপনার শেষ ভরসা।

আপনার AI builder-কে কী জিজ্ঞেস করবেন

• "লগইন, সাইন-আপ, পাসওয়ার্ড রিসেট ও AI endpoint-এ সার্ভার-পক্ষ rate limiting যোগ করো। যুক্তিসঙ্গত সীমার পরামর্শ দাও।"
• "প্রতি সাইন-ইন করা ব্যবহারকারীকে প্রতি ঘণ্টায় [N]টি AI অনুরোধে সীমাবদ্ধ করো, এবং সীমায় পৌঁছালে অপেক্ষার সময়সহ একটি স্পষ্ট বার্তা দেখাও।"
• "বাইরের API 429 দিলে সর্বোচ্চ ৩ বার exponential backoff সহ আবার চেষ্টা করো, তারপর একটি বন্ধুত্বপূর্ণ ত্রুটি দেখাও।"
• "Rate-limit কাউন্টার কোথায় সংরক্ষিত? অ্যাপ একাধিক মেশিনে চললেও কি কাজ করবে?"
• "কেউ বা কোনো IP সীমায় পৌঁছালে লগ করো, যাতে আমি অপব্যবহার খুঁজে পাই।"
• "এই অ্যাপ কোন বাইরের সেবাগুলো কল করে, এবং তাদের rate limit কত?"

Mythex-এ rate limiting

AI ফিচারের জন্য Mythex-এর ডকস এ বিষয়ে সরাসরি: আপনার বানানো অ্যাপের rate limit, নিরাপত্তা ও খরচ নিয়ন্ত্রণ আপনারই ডিজাইন করার বিষয় — দেখুন AI অ্যাপ বানানো। ফিচারের জন্য অনুরোধের একই বার্তায় এজেন্টকে সীমা যোগ করতে বলুন। Pro-তে ভারী ট্রাফিকের সময় একটি প্রকাশিত সেবা তিনটি মেশিন পর্যন্ত চলতে পারে (দেখুন হোস্টিং সীমা), তাই এমন কাউন্টার চান যা একটি সার্ভারের মেমরিতে নয়, ডেটাবেসে থাকে।

সম্পর্কিত পড়া: API কী, LLM API কীভাবে ব্যবহার করবেন এবং AI-বানানো অ্যাপের জন্য নিরাপত্তা চেকলিস্ট।

প্রশ্নোত্তর