Бид өөрсдийн үйлчилгээгээ хязгаарлаж байсан

Mythex-ийн API нэг сүлжээний хаягаас минутад 300 хүсэлт зөвшөөрдөг. Энэ хязгаар нь нэг хүн эсвэл скрипт API-г дарамтлахаас хамгаалах зорилготой. Үйлдвэрлэлд энэ нь харин бидний өөрсдийн үйлчилгээнүүдийг — нийтлэгдсэн аппуудыг үйлчилдэг edge хэсэг болон AI агентыг ажиллуулдаг үйлчилгээ — татгалзаж эхэлсэн, учир нь тус бүр нь API-д хэдхэн хаягаас ханддаг. Бидний дотоод нэвтрэх түлхүүртэй хүсэлтүүд одоо чөлөөлөгддөг, бусад хүн бүр өмнөхтэй яг адилхан хязгаарлагддаг.

Шинж тэмдэг

API бидний дотоод дуудлагуудын зарим хэсэгт 429 Too Many Requests хариулж эхэлсэн. Mythex-д хэрэглэгчдэд хамаатай гурван төрлийн дуудлага нөлөөлсөн:

• Custom домэйн дээрх аль аппыг эзэмшиж байгааг харах. Зочин тусдаа домэйнээр нийтлэгдсэн апп нээхэд edge тэр сайт хаана байгааг API-д асуудаг. Тэнд 429 гэдэг нь сайтад хүрч чадахгүй зочин.
• Ажиллаж буй агентын эргэлтийг хадгалах. Агент ажиллах явцад ахиц нь явахдаа хадгалагддаг, ингэснээр хариулт хуудас дахин ачаалах эсвэл холболт тасрахаас амьд үлддэг. Тэнд 429 гэдэг нь хадгалагдаагүй ахиц.
• Preview-д хандах эрхийг шалгах. Таны бүтээж буй аппын preview хаалттай, хаалт API-д асуудаг. Тэнд 429 гэдэг нь нээгдэхгүй preview.

Эдгээрийн аль нь ч хүмүүс API-д дуудсан биш. Бүгд бид өөрсдөө байсан.

Яагаад болсон бэ

Сүлжээний хаягаар хязгаарлалт нэг таамаглал дээр тулгуурладаг: нэг хаяг бол ойролцоогоор нэг дуудагч. Хүмүүсийн хувьд энэ хангалттай ойр. Өөрсдийн дэд бүтцийн хувьд энэ буруу.

• Нийтлэгдсэн апп болон preview-ийг үйлчилдэг edge үйлчилгээ API-д хэдхэн хуваалцсан гаргах хаягаас хандана. Нийтлэгдсэн апп бүрийн зочин бүр, preview шалгалт бүр тэдгээрийн нэг хаягаас ирсэн мэт харагдана.
• Оркестратор — агентын эргэлтийг ажиллуулдаг үйлчилгээ — API-д нэг контейнерийн хаягаар хандана. Ажиллаж буй эргэлт бүр, хэрэглэгч бүр хуваалцана.

Тиймээс нэг хүнд зориулсан төсөв бүх үйлчилгээний бүх траффикийн хооронд хуваагдаж байв. Тэд үүнийг дуусгаж, хязгаарлагч нь өгсөн дүрмийн дагуу тэднийг татгалзсан.

Засвар

Манай өөрсдийн үйлчилгээнүүд аль хэдийн өөрсдийгөө батална. Дотоод дуудлага бүр дотоод токен агуулдаг, мөн API-ийн дотоод хэсгийн маршрут бүр хэн нэгэн зүйл хийхээс өмнө тэр токеныг шалгадаг.

Хязгаарлагч одоо ижил шалгалтыг ашигладаг. Дотоод токентой таарсан хүсэлт цагаан жагсаалтад байж, нэг хаягийн төсөвт тооцогдохгүй. Бусад бүх зүйл яг өмнөх шигээ тооцогдоно: хаяг бүрт минутад 300 хүсэлт.

Хоёр нарийн зүйл үүнийг нүх болохоос сэргийлсэн:

1. Буруу токен давуу эрх авдаггүй. Цагаан жагсаалт зөвхөн бодит дотоод токенд таарна. Зохиомол токентэй хүсэлт нь бусад бүхнийг шиг тооцогдож, хязгаарлагдана, мөн дотоод маршрутууд үүнийг 401 Unauthorized-оор татгалзана.
2. Хязгаар өөрөө өөрчлөгдөөгүй. Чөлөө гаргахын тулд бид тоог нэмээгүй. Тоо нэмэх нь асуудлыг траффик дахин нэмэгдэх хүртэл нуух байсан, мөн хязгаар хамгаалах зорилготой тохиолдолд хамгаалалтыг сулруулах байсан.

Бид хязгаарлагчийн тохиргоог нэг жижиг функцэд нэгтгэж, түүнд тест бичсэн. Нэг нь дотоод токентой 20 хүсэлтийг 5-д тохируулсан хязгаарлагчид илгээж, 20 бүгд амжилттай байхыг шаардана. Өөр нэг нь нэг хаягаас энгийн хүсэлтүүдийг илгээж, эхний таван нь амжилттай, дараах нь татгалзахыг шаардана. Гурав дахь нь зохиомол токентэй хүсэлтийг илгээж, адил байдлаар татгалзахыг шаардана.

Бидний авсан дүгнэлт

• Хязгаар таамаглал агуулдаг. «Нэг хаяг, нэг дуудагч» гэдэг нь сүлжээний хаягаар хязгаарлалтад суугдсан. Өөрийн үйлчилгээнүүд хуваалцсан хаягын ард байх үед тэр үнэн байхаа больдог — ачааллын тэнцүүлэгч, edge сүлжээ, контейнер, оффисын сүлжээ гэх мэт олон ийм.
• Өөрийн траффикийг хаягаар бус таниулгаар ялга. Хаяг нь траффик хэрхэн ирснийг, харин хэн илгээснийг биш харуулдаг. Бидэнд аль хэдийн дуудлага бидний гэдгийг батлах токен байсан; хязгаарлагч үүнийг хараагүй байсан.
• Тоог нэмснээр засахгүй. Том хязгаар 429-ийг түр хугацаанд алга болгох байсан, хамгаалалтыг бага болгож, дараа нь дахин эвдэрсэн байх байсан.
• Хэнийг хязгаарлаж байгааг хар. Өөрийн үйлчилгээнд буусан 429 бол хязгаараа засах шаардлагатай гэсэн алдааны мэдээлэл, хязгаарлагч ажиллаж байгаагийн баталгаа биш.

Танд юу утгатай вэ

Таны талд юу ч өөрчлөх шаардлагагүй. Custom домэйн дээрх нийтлэгдсэн апп, агентын эргэлт, preview одоо Mythex-ийн бусад хэсэг хэр завгүйгээс хамаардаггүй. Таны аппын өөрийн траффик нь таны аппын асуудал: энд тайлбарласан хязгаар бол бидний API дээр, таны нийтэлдэг аппууд дээр биш.

Өөрийн backend байгуулж байвал rate limit нэмэх бүрт ижил занга хамаарна. API гэж юу вэ болон AI-ээр бүтээсэн аппын аюулгүй байдлын шалгах жагсаалт эхлэх сайн газар. Өөрийн дэд бүтэц өөрийгөө хааж байсан өөр нэг тохиолдлын хувьд deploy-уудыг нуля 502 алдаа болгосон нь-ийг үзнэ үү.