ረጅም የወኪል ዙሮችን በአውድ መስኮቱ ውስጥ ማቆየት

ሞዴል በአንድ ጊዜ ብዙ ማንበብ የሚችለው የተወሰነ ነው — የአውድ መስኮቱ። የMythex ወኪል ረጅም ስራ ይሰራል፦ ብዙ ፋይሎችን ማንበብ፣ ትዕዛዞችን ማሄድ፣ የተወሰነ ስራዎችን ለንዑስ ወኪሎች ማስረከብ። ረጅም ስራ የተበላሸባቸውን ሦስት መንገዶች አግኝተናል፦ ንዑስ ወኪሎች ሞዴሉ ሁሉንም ጥያቄ እስኪቀበል ድረስ አደጉ፣ አንድ ንዑስ ወኪል ቦታ ያለቀበት መስሎት ቀድሞ ቆመ፣ እና ቶከን ቆጣሪያችን ለሩሲያኛ፣ ቻይንኛና ጃፓንኛ ጽሑፍ በጣም ተሳስቶ ነበር። ያደረግነው ይህ ነው።

መጀመሪያ የተወሰኑ ቃላት

ቶከኖች ሞዴሉ የሚያነባቸው ቁርጥራጮች ናቸው። ገደቦችና ዋጋዎች የሚቆጠሩት በእነርሱ ነው፣ በቁምፊዎች ወይም ቃላት አይደለም።
የአውድ መስኮት በአንድ ጥያቄ ሞዴሉ ማንበብ የሚችለው ከፍተኛው ነው። እኛም ለእያንዳንዱ ጥያቄ የራሳችን ዝቅተኛ በጀት እናስቀምጣለን፣ ስለዚህ ዋጋውና ፍጥነቱ ምክንያታዊ ይቆያሉ።
የመሳሪያ ውጤቶች ወኪሉ ከመሳሪያዎቹ የሚመለሰው ነገር ነው፦ ያነበበው የፋይል ይዘት፣ ያሄደው ትዕዛዝ ውጤት። በረጅም ስራ ውስጥ፣ ብዙውን ጊዜ የሚላከው አብዛኛው እነዚህ ናቸው።
ንዑስ ወኪል ዋና ወኪሉ ለራሱ ለሆነ ስራ እንደ “እነዚህን ምዕራፎች ከማስታወሻዎቹ ጋር አረጋግጥ” የሚጀምረው ረዳት ነው። አንድ መመሪያ ይቀበላል፣ ከዚያም ብዙ የመሳሪያ ጥሪዎችን ብቻውን ይሰራል።

ችግር 1፦ ንዑስ ወኪሎች ሞዴሉ አልቀበልም እስኪል ድረስ አደጉ

በእያንዳንዱ እርምጃ ወኪሉ እስካሁን ያለውን ውይይት ለሞዴሉ ይልካል። ያ በጣም ሲበዛ፣ ኮዳችን ይቆርጠው ነበር — ግን የሚቆርጠው በተጠቃሚ መልዕክት መጀመሪያ ላይ ብቻ ነበር፣ የመሳሪያ ጥሪና ውጤቱ በፍጹም እንዳይለያዩ። የመጀመሪያውን መልዕክት ያቆይ፣ ቀድሞ ውይይቱ እንደተቆረጠ የሚገልጽ ማስታወሻ ይጨምር፣ እና የሚገጥሙትን አዲሶቹን ሙሉ ዙሮች ያቆይ ነበር።

ንዑስ ወኪል አንድ የተጠቃሚ መልዕክት ብቻ አለው፦ መመሪያው። መቁረጥ የሚቻልበት ቦታ አልነበረም። ስለዚህ ሙሉ ታሪኩን በእያንዳንዱ እርምጃ ይልክ ነበር፣ እያንዳንዱ ጊዜ እያደገ፣ ጥያቄው ሞዴሉ ከሚቀበለው በላይ — ወደ አንድ ሚሊዮን ቶከን ገደማ — እስኪሆን ድረስ። በስምንት እንደዚህ ያሉ ንዑስ ወኪሎች ፈተና፣ ሁሉም ስምንቱም ተከልክለዋል።

መፍትሄው፦ መጀመሪያ የድሮ የመሳሪያ ውጤቶችን አጽዳ

ጥያቄዎች አሁን በሦስት እርምጃዎች በጀቱ ውስጥ ይገባሉ፣ የቀደመው በቂ ካልሆነ ብቻ እየሞከሩ፦

የድሮ የመሳሪያ ውጤቶችን አጽዳ። ይዘታቸው በአጭር ማስታወሻ ይተካል፦ ውጤቱ የተጸዳው ውይይቱን በሞዴሉ አውድ ውስጥ ለማቆየት ነው፣ እና ወኪሉ ከፈለገ መሳሪያውን እንደገና ማሄድ ይችላል። ከአንድ ሰዓት በፊት የተነበበ ፋይል ብዙውን ጊዜ በጥያቄው ውስጥ ትልቁና ትንሹ ጠቃሚ ነገር ነው፣ ፋይሉም እንደገና ለማንበብ ይገኛል። አዲሶቹ ውጤቶች ሙሉ ይቆያሉ።
ሙሉ የተጠቃሚ ዙሮችን አቆይ። እንደ ቀድሞው፦ የመጀመሪያው መልዕክት፣ ማስታወሻ፣ እና የሚገጥሙት አዲሶቹ ሙሉ ዙሮች።
ሙሉ የመሳሪያ ዙሮችን አቆይ። በአንድ ረጅም ዙር ውስጥ — የንዑስ ወኪል ብቸኛው አይነት — የመጀመሪያውን መልዕክት፣ ማስታወሻ፣ እና አዲሶቹን ሙሉ “መሳሪያ ጥራ፣ ውጤቱን አግኝ” ዙሮች አቆይ።

ይህ የሚልከውን ብቻ ይቀርጻል። የወኪሉ የተቀመጠ ታሪክ ሁሉንም ያቆያል። በተመሳሳዩ ፈተና፣ 0 ከ8 ተከልክለዋል እና ሁሉም 8 ጨርሰዋል።

በባች ማጽዳት፣ ካሺንግ እንዲሰራ

የሞዴል አቅራቢዎች ከቀደመው ጥያቄ ጋር ተመሳሳይ ከሆነ የጥያቄውን መጀመሪያ እንደገና መጠቀም ይችላሉ — የprefix cache። በእያንዳንዱ ጥሪ አንድ ተጨማሪ ውጤት ብናጸዳ፣ የጥያቄው መጀመሪያ በእያንዳንዱ ጥሪ ይለወጥ ነበር፣ እና ካሺው ፈጽሞ አይረዳም ነበር።

ስለዚህ የድሮ ውጤቶች አራት በአንድ ጊዜ ይጸዳሉ፣ አንድ በአንድ አይደለም። የተጸዳው ክፍል ለብዙ ጥሪዎች አንድ ሆኖ ይቆያል። ከማስታወሻው ብዙ ያልበለጠ ውጤት ይቀራል፣ ምክንያቱም ማጽዳቱ ብዙም ባይቆጥብም የጥያቄውን መጀመሪያ ይለውጣል። ምን ያህል ሙሉ እንደሚቀር የሚወሰነው በመጠን ነው፣ በቁጥር አይደለም፦ በበጀቱ ሩብ ውስጥ የሚገቡ አዲሶቹ ውጤቶች ይቆያሉ፣ ቢያንስ አንድ ሁልጊዜ። የቀድሞ ስሪት ቋሚ ስድስት ሙሉ ያቆይ ነበር፤ ለአጭር ትዕዛዝ ውጤት ትክክል ነበር፣ ነገር ግን ረዥም የፋይል ንባቦች ሲኖሩ፣ አብዛኛውን በጀት ለድሮ ውጤቶች ይተው ነበር።

ውድቀቶች አሁን ይናገራሉ

ሞዴሉ ልክ ያልሆነ ብሎ የተቀበለው ጥያቄ ከአሁን በኋላ እንደገና አይሞከርም፤ ተመሳሳዩን ጥያቄ እንደገና መላክ ተመሳሳይ መልስ ያገኛል። ውይይቱ ለሞዴሉ በጣም ረጅም ከሆነ፣ ሰውየው ይመለከታል፦ “ይህ ውይይት ሞዴሉ በአንድ ጊዜ ለማንበብ በጣም ረዘመ። ለሚቀጥለው ደረጃ አዲስ ውይይት ጀምር — እስካሁን የተገነባው ሁሉ ይቆያል።” ያ የሰውየው የሚያደርገው ነገር ነው፣ መቋረጥ አይደለም፣ ስለዚህ ለእኛ አያስጠነቅቅም።

ችግር 2፦ ወኪሉ ቦታ “ለመቆጠብ” ቆመ

አንድ ንዑስ ወኪል 40 ረዥም ምዕራፎችን እንዲያነብ ሲጠየቅ ከ2 በኋላ ቆመ፣ ቦታ ለመቆጠብ እንደሚፈልግ ተናገረ። ከ400,000 ቶከን በጀት ውስጥ ወደ 100,000 ቶከን ገደማ ተጠቅሞ ነበር።

የድሮ ውጤቶች አሁን እንደሚጸዱለት ማወቅ አልቻለም ነበር። ስለዚህ ነገርነው። የወኪሉ መመሪያዎች አሁን ውይይቱ ከሞዴሉ አቅም በላይ ሲያድግ፣ የድሮ የመሳሪያ ውጤቶች ይጸዳሉ እና አዲሶቹ ሙሉ ይቆያሉ ይላሉ — ስለዚህ ረጅም ስራን ቦታ ለመቆጠብ አታቁም፤ ቀጥል፣ እና የጸዳውን ነገር ከፈለግህ ፋይሉን እንደገና አንብብ ይላሉ።

ሞዴሉ የማያየው ማስተካከያ፣ ከሞዴሉ እይታ ማስተካከያ አይደለም። ዘዴው የሚረዳው ወኪሉ ቢያምነው ብቻ ነው።

ችግር 3፦ ቶከኖችን እንግሊዝኛ እንደሆነ ሁሉ መቁጠር

ቶከኖችን ቶከናይዘር ሳናሄድ፣ ቁምፊዎችን በአራት በመክፈል እንገምት ነበር። ይህ ለእንግሊዝኛ ምክንያታዊ የአውራ ጣት ህግ ነው። ለሌሎች ስክሪፕቶች ግን አይደለም፦ ሩሲያኛ በአንድ ቶከን ወደ 2.2 ቁምፊ፣ ቻይንኛ ወይም ጃፓንኛ ደግሞ በአንድ ቶከን ወደ አንድ ቁምፊ ገደማ ይሄዳል።

ስለዚህ የሩሲያኛ ምዕራፎችን የሚያነብ ንዑስ ወኪል ወደ 640,000 ቶከን ጥያቄ ይልክ ነበር፣ ግምታችን ግን ከ400,000 በጀት በታች ነው ይል ነበር። ግምቱ ከሞዴሉ ጠንካራ ገደብ በላይ ጥያቄ ሊያስገባም ይችል ነበር።

ግምቱ አሁን በስክሪፕት ይቆጥራል፦ ተራ ASCII በአንድ ቶከን አራት ቁምፊ፣ ቻይንኛ፣ ጃፓንኛና ኮሪያኛ በአንድ ቁምፊ፣ እና ሌላው ሁሉ — ሲሪሊክ፣ ግሪክ፣ አረብኛ፣ ዘዬ ፊደሎች፣ ኢሞጂ — በሁለት። ከፍ ብሎ ለመገመት የታሰበ ነው። በአንድ የሩሲያኛ ምዕራፍ ላይ አሁን 43,423 ቶከን ይገምታል፣ በመለካት ግን 44,600 ገደማ ነበር፤ ከዚያ በፊት 25,023 ይል ነበር። መልዕክት አንዴ ከተጻፈ ፈጽሞ ስለማይለወጥ፣ ግምቱ አንድ ጊዜ ይሰላና ይታወሳል፣ በእያንዳንዱ እርምጃ ከማስላት ይልቅ።

ከዚህ የወሰድነው

መቁረጥ የመጠኑ ትክክለኛ ቦታ ላይ አድርግ። በወኪል ስራ ያ የመሳሪያ ውጤቶች ነው፣ የተጠቃሚ መልዕክቶች አይደሉም።
ወኪሉ ስለ ራሱ የደህንነት መረቦች ንገረው። ያለዚያ ከአሁን በኋላ የማይሠሩ ገደቦችን ዙሪያ እቅድ ያወጣል።
«ቁምፊዎች ÷ 4» የእንግሊዝኛ ግምት ነው። ለብዙ ቋንቋ ተጠቃሚዎች ቶከን የሚቆጥር ማንኛውም ነገር በስክሪፕት መቁጠር አለበት፣ ወይም እውነተኛ ቶከናይዘር መጠቀም አለበት።
ካሺውን ተጠንቀቅ። በእያንዳንዱ ጥሪ ከፊት የሚለወጥ ጥያቄ የበለጠ ያስከፍላል እና በዝግታ ይሰራል።

የራስህን መተግበሪያ ውስጥ የAI ባህሪያት እየገነባህ ከሆነ፣ LLM ምንድን ነው እና LLM APIs እንዴት መጠቀም እንደሚቻል መመሪያዎች የአውድ መስኮቶችንና ቶከኖችን ከመጀመሪያው ይሸፍናሉ። ንዑስ ወኪሎች በMythex እንዴት እንደሚሰሩ በየንዑስ ወኪሎች ሰነዶች ውስጥ አለ።