మేము మా స్వంత సర్వీస్‌లను రేట్-లిమిట్ చేస్తున్నాము

Mythex యొక్క API ఒక నెట్‌వర్క్ చిరునామా నుంచి నిమిషానికి 300 అభ్యర్థనలను అనుమతిస్తుంది. ఆ పరిమితి ఒక వ్యక్తి లేదా స్క్రిప్ట్ API ను కొట్టకుండా మమ్మల్ని రక్షించడానికి ఉంది. ప్రొడక్షన్‌లో, అది బదులుగా మా స్వంత సర్వీస్‌లను తిరస్కరించడం మొదలుపెట్టింది — మా ఎడ్జ్‌లోని ప్రచురించిన యాప్‌లకు సేవ చేసే భాగం మరియు AI ఏజెంట్‌ను నడిపే సర్వీస్ — ఎందుకంటే ప్రతిదీ కొద్దిపాటి చిరునామాల నుంచి మాత్రమే API ను చేరుకుంటుంది. ఇప్పుడు మా అంతర్గత క్రెడెన్షియల్ మోసుకెళ్లే అభ్యర్థనలకు మినహాయింపు ఉంది, మిగతావారు ముందులాగే పరిమితం చేయబడ్డారు.

లక్షణం

API మా స్వంత అంతర్గత కాల్స్‌లో కొన్నింటికి 429 Too Many Requests తో స్పందించడం మొదలుపెట్టింది. మూడు రకాల కాల్స్ ప్రభావితమయ్యాయి, మరియు ప్రతి ఒక్కటీ Mythex ఉపయోగించే ఎవరికైనా ముఖ్యం:

• ఏ యాప్ కస్టమ్ డొమైన్‌లో ఉందో చూడటం. ఒక విజిటర్ తన స్వంత డొమైన్‌లో ప్రచురించిన యాప్‌ను తెరిచినప్పుడు, మా ఎడ్జ్ ఆ సైట్ ఎక్కడ ఉందో API ను అడుగుతుంది. అక్కడ 429 అంటే విజిటర్ సైట్‌ను చేరుకోలేకపోవడం.
• రన్ అవుతున్న ఏజెంట్ టర్న్‌ను సేవ్ చేయడం. ఏజెంట్ పని చేస్తున్నప్పుడు, దాని పురోగతి ముందుకు వెళ్తూనే సేవ్ అవుతుంది, కాబట్టి రిఫ్రెష్ లేదా డ్రాప్ అయిన కనెక్షన్ తర్వాత కూడా జవాబు బ్రతుకుతుంది. అక్కడ 429 అంటే సేవ్ కాని పురోగతి.
• ప్రివ్యూకు యాక్సెస్ తనిఖీ చేయడం. మీరు నిర్మిస్తున్న యాప్ యొక్క ప్రివ్యూ గేట్ చేయబడి ఉంది, మరియు గేట్ API ను అడుగుతుంది. అక్కడ 429 అంటే తెరుచుకోని ప్రివ్యూ.

ఇవేవీ API ను పిలిచిన వ్యక్తులు కాదు. అన్నీ మేమే.

ఇది ఎందుకు జరిగింది

ప్రతి-చిరునామా రేట్ లిమిట్ ఒక అంచనా వేస్తుంది: ఒక చిరునామా సుమారు ఒక కాలర్. ప్రజలకు, అది సరిపోతుంది. మా స్వంత మౌలిక సదుపాయాలకు, అది ఘోరంగా తప్పు.

• ప్రచురించిన యాప్‌లు మరియు ప్రివ్యూలకు సేవ చేసే ఎడ్జ్ సర్వీస్ API ను కొన్ని షేర్ చేసిన అవుట్‌గోయింగ్ చిరునామాల నుంచి చేరుకుంటుంది. ప్రతి ప్రచురించిన యాప్‌కు ప్రతి సందర్శకుడు, మరియు ప్రతి ప్రివ్యూ తనిఖీ, ఆ కొన్నింటిలో ఒకదాని నుంచి వచ్చినట్టు కనిపిస్తుంది.
• ఏజెంట్ టర్న్‌లను రన్ చేసే ఆర్కెస్ట్రేటర్ API ను ఒకే కంటైనర్ చిరునామా నుంచి చేరుకుంటుంది. ప్రతి రన్ అవుతున్న టర్న్, ప్రతి వినియోగదారు కోసం, దాన్ని పంచుకుంటుంది.

కాబట్టి ఒక వ్యక్తి కోసం ఉద్దేశించిన బడ్జెట్ మొత్తం సర్వీస్ ట్రాఫిక్‌కు విభజించబడుతోంది. ఆ సర్వీసులు కలిసి దాన్ని ఖర్చు చేశాయి, మరియు లిమిటర్ చెప్పినట్టే చేసింది: వాటిని తిరస్కరించింది.

పరిష్కారం

మా స్వంత సర్వీస్‌లు ఇప్పటికే తామెవరో నిరూపిస్తాయి. ప్రతి అంతర్గత కాల్ ఒక అంతర్గత టోకెన్‌ను మోసుకెళ్తుంది, మరియు API యొక్క అంతర్గత విభాగంలోని ప్రతి రూట్ ఏదైనా చేయడానికి ముందు ఆ టోకెన్‌ను తనిఖీ చేస్తుంది.

రేట్ లిమిటర్ ఇప్పుడు అదే తనిఖీని ఉపయోగిస్తుంది. అంతర్గత టోకెన్‌తో సరిపోలే అభ్యర్థన అనుమతి జాబితాలో ఉంటుంది, మరియు ప్రతి-చిరునామా బడ్జెట్‌కు లెక్కించబడదు. మిగతావన్నీ ముందులాగే లెక్కించబడతాయి: ప్రతి చిరునామాకు నిమిషానికి 300 అభ్యర్థనలు.

ఇది రంధ్రంగా మారకుండా రెండు వివరాలు సహాయపడ్డాయి:

1. తప్పు టోకెన్‌కు పాస్ లేదు. అనుమతి జాబితా నిజమైన అంతర్గత టోకెన్‌తో మాత్రమే సరిపోతుంది. తప్పుడు టోకెన్ ఉన్న అభ్యర్థన లెక్కించబడుతుంది మరియు మిగతా వాటిలాగే త్రాటిల్ చేయబడుతుంది, మరియు అంతర్గత రూట్‌లు దానిని ఇంకా 401 Unauthorized తో తిరస్కరిస్తాయి.
2. పరిమితి స్వయంగా మారలేదు. గదిని సృష్టించడానికి మేము సంఖ్యను పెంచలేదు. పెంచితే సమస్య మళ్లీ ట్రాఫిక్ పెరిగే వరకు దాచబడేది, మరియు పరిమితి ఉన్న కేసుకు రక్షణను బలహీనపరిచేది.

మేము లిమిటర్ సెట్టింగ్‌లను ఒక చిన్న ఫంక్షన్‌లోకి తరలించి దానిపై టెస్ట్‌లు రాశాము. ఒకటి అంతర్గత టోకెన్‌తో 20 అభ్యర్థనలను 5 అనుమతించే లిమిటర్‌కు పంపుతుంది, మరియు మూడూ విజయవంతం కావాలని ఆశిస్తుంది. మరొకటి ఒక చిరునామా నుంచి సాధారణ అభ్యర్థనలను పంపి, మొదటి ఐదు విజయవంతమవ్వాలని, తర్వాతివి తిరస్కరించబడాలని ఆశిస్తుంది. మూడవది నకిలీ టోకెన్‌తో అభ్యర్థనలను పంపి, అవి అదే విధంగా తిరస్కరించబడాలని ఆశిస్తుంది.

మేము ఏమి నేర్చుకున్నాము

• పరిమితులు అంచనాలను మోసుకెళ్తాయి. “ఒక చిరునామా, ఒక కాలర్” ప్రతి-చిరునామా పరిమితిలో నిర్మించబడి ఉంది. మీ స్వంత సర్వీస్‌లు షేర్ చేసిన చిరునామాల వెనుక ఉన్న క్షణం అది నిజం కావడం ఆగిపోతుంది — మరియు చాలావాటికి అలా ఉంటుంది: లోడ్ బ్యాలెన్సర్‌లు, ఎడ్జ్ నెట్‌వర్క్‌లు, కంటైనర్లు, ఆఫీస్ నెట్‌వర్క్‌లు.
• మీ స్వంత ట్రాఫిక్‌ను చిరునామా ద్వారా కాకుండా గుర్తింపు ద్వారా వేరు చేయండి. చిరునామాలు ట్రాఫిక్ ఎలా వస్తుందో చెబుతాయి, ఎవరు పంపారో కాదు. ఒక కాల్ మాదని రుజువు చేసే క్రెడెన్షియల్ మాకు ఇప్పటికే ఉంది; లిమిటర్ దానిని చూడలేదు.
• సంఖ్యను పెంచి సరిచేయవద్దు. పెద్ద పరిమితి కొంతకాలం 429లను తొలగించేది, తక్కువ రక్షించేది, మరియు తర్వాత మళ్లీ విఫలమయ్యేది.
• ఎవరు త్రాటిల్ అవుతున్నారో చూడండి. మీ స్వంత సర్వీస్‌పై పడే 429 మీ పరిమితుల గురించి ఒక బగ్ రిపోర్ట్, లిమిటర్ పనిచేస్తోందనే సంకేతం కాదు.

మీరు Mythex పై నిర్మిస్తే దీని అర్థం ఏమిటి

మీ వైపు మార్చాల్సింది ఏమీ లేదు. కస్టమ్ డొమైన్‌లలోని ప్రచురించిన యాప్‌లు, ఏజెంట్ టర్న్‌లు మరియు ప్రివ్యూలు ఇకపై Mythex లో మిగతా భాగం ఎంత బిజీగా ఉందో దానిపై ఆధారపడవు. మీ యాప్ యొక్క స్వంత ట్రాఫిక్ మీ యాప్ వ్యవహారం: ఇక్కడ వివరించిన పరిమితి మా API పై ఉంది, మీరు ప్రచురించే యాప్‌లపై కాదు.

మీ స్వంత బ్యాకెండ్ నడిపితే, మీరు జోడించే ఏ రేట్ లిమిట్‌కైనా అదే ఉచ్చు వర్తిస్తుంది. API అంటే ఏమిటి మరియు AI తో నిర్మించిన యాప్‌ల కోసం సెక్యూరిటీ చెక్‌లిస్ట్ గైడ్‌లు ప్రారంభించడానికి మంచి చోటు. మా స్వంత మౌలిక సదుపాయాలు తమకు తామే అడ్డుపడిన మరో కేసు కోసం, మేము డిప్లాయ్‌లను జీరో 502 ఎర్రర్లకు ఎలా తీసుకొచ్చాము చూడండి.