Kuweka Zamu Ndefu za Wakala Ndani ya Dirisha la Muktadha

Modeli inaweza kusoma kiasi fulani tu kwa wakati mmoja — dirisha lake la muktadha. Wakala wa Mythex anafanya kazi ndefu: anasoma faili nyingi, anaendesha amri, na anakabidhi kazi zenye mipaka kwa wasaidizi wadogo. Tuligundua njia tatu ambazo kazi ndefu ilivunjika: wasaidizi wadogo walikua hadi modeli ikakataa kila ombi, msaidizi mmoja alisimama mapema kwa sababu alidhani amekosa nafasi, na hesabu yetu ya tokeni ilikuwa mbaya sana kwa maandishi ya Kirusi, Kichina na Kijapani. Hivi ndivyo tulivyobadilisha.

Maneno machache kwanza

• Tokeni ni vipande ambavyo modeli inasoma. Mipaka na gharama zinahesabiwa kwa tokeni, si kwa herufi wala maneno.
• Dirisha la muktadha ni kiasi kikubwa zaidi ambacho modeli inaweza kusoma kwenye ombi moja. Sisi pia tunaweka bajeti yetu ndogo kwa kila ombi, ili gharama na kasi ibaki sawa.
• Matokeo ya zana ni yale ambayo wakala anapokea kutoka kwenye zana zake: yaliyomo kwenye faili alilosoma, matokeo ya amri aliyoendesha. Kwenye kazi ndefu, haya ndiyo sehemu kubwa ya kile kinachotumwa.
• Msaidizi mdogo ni msaidizi ambaye wakala mkuu anaanzisha kwa kazi huru, kama "kagua sura hizi dhidi ya maelezo". Anapokea maagizo moja, kisha anafanya kazi kupitia miito mingi ya zana peke yake.

Tatizo la 1: wasaidizi wadogo walikua hadi modeli ikawakataa

Kila hatua, wakala anatuma modeli mazungumzo yote hadi sasa. Yalipokuwa makubwa mno, msimbo wetu ulipunguza, lakini tu mwanzoni mwa ujumbe wa mtumiaji, ili wito wa zana na matokeo yake visigawanywe kamwe. Ulihifadhi ujumbe wa kwanza, uliongeza dokezo likisema mazungumzo ya awali yamepunguzwa, na ukahifadhi zamu kamili za hivi karibuni zilizotoshea.

Msaidizi mdogo ana ujumbe mmoja tu wa mtumiaji: maagizo yake. Hakukuwa na mahali pa kukata. Kwa hiyo alituma historia yake yote kwenye kila hatua, ikikua kila wakati, hadi ombi likawa kubwa kuliko modeli inavyokubali kabisa — takriban tokeni milioni moja. Katika jaribio na wasaidizi wadogo 8 wa aina hiyo, wote 8 walikataliwa.

Suluhisho: futa matokeo ya zana ya zamani kwanza

Maombi sasa yanatoshea bajeti kwa hatua tatu, kila moja ikijaribiwa tu ikiwa ile iliyotangulia haikutosha:

1. Futa matokeo ya zana ya zamani kabisa. Yaliyomo yake yanabadilishwa na dokezo fupi: matokeo yalifutwa ili kuweka mazungumzo ndani ya muktadha wa modeli, na wakala anaweza kuendesha zana tena akiihitaji. Faili lililosomwa saa moja iliyopita kwa kawaida ndicho kitu kikubwa na kisicho na msaada zaidi kwenye ombi, na faili bado lipo la kusomwa tena. Matokeo mapya yanabaki kamili.
2. Hifadhi zamu kamili za mtumiaji. Kama awali: ujumbe wa kwanza, dokezo, na zamu kamili za hivi karibuni zilizotoshea.
3. Hifadhi raundi kamili za zana. Ndani ya zamu moja ndefu — ndiyo aina pekee ambayo msaidizi mdogo anayo — hifadhi ujumbe wa kwanza, dokezo, na raundi kamili za hivi karibuni za "ita zana, pokea matokeo yake".

Hii inaathiri tu kile kinachotumwa. Historia iliyohifadhiwa ya wakala inabaki na kila kitu. Katika jaribio hilohilo, 0 kati ya 8 walikataliwa na wote 8 walimaliza.

Kufuta kwa makundi, ili akiba ifanye kazi

Watoa modeli wanaweza kutumia tena kazi iliyofanyika kwenye mwanzo wa ombi ikiwa ni sawa kabisa na ombi lililotangulia — akiba ya kiambishi (prefix cache). Kama tungefuta matokeo moja zaidi kwenye kila wito, mwanzo wa ombi ungebadilika kila wito na akiba isingesaidia kamwe.

Kwa hiyo matokeo ya zamani kabisa yanafutwa manne kwa wakati mmoja, si moja. Sehemu iliyofutwa inabaki ile ile kwa miito kadhaa. Matokeo ambayo hayajawa makubwa zaidi ya dokezo yenyewe hayaguswi: kuyafuta kungeokoa karibu hakuna kitu na bado kungebadilisha mwanzo wa ombi. Kiasi kinachobaki kamili kinaamuliwa kwa ukubwa, si kwa idadi: matokeo mapya zaidi yanayotoshea robo ya bajeti yanabaki, na angalau moja daima. Toleo la awali lilihifadhi sita kamili kwa idadi isiyobadilika, jambo lililofaa kwa matokeo mafupi ya amri, lakini kwa kusoma faili ndefu liliacha sehemu kubwa ya bajeti kwa matokeo ya zamani.

Kukataliwa sasa kunasemwa wazi

Ombi ambalo modeli inalikataa kuwa si sahihi halitumwi tena; kutuma ombi lilelile tena kunapata jibu lilelile. Mazungumzo yakiwa marefu mno kwa modeli, mtu anaona: "Mazungumzo haya yamekuwa marefu mno kwa modeli kuyasoma kwa mkupuo. Anza mazungumzo mapya kwa hatua inayofuata — kila kitu kilichojengwa hadi sasa kinabaki." Hilo ni jukumu la mtu kulichukua, si hitilafu ya huduma, kwa hiyo halituamshi kwa simu.

Tatizo la 2: wakala alisimama ili "kuokoa nafasi"

Msaidizi mdogo aliyeombwa kusoma sura 40 ndefu alisimama baada ya mbili, akisema alitaka kuokoa nafasi. Ulikuwa umetumia takriban tokeni 100,000 kati ya bajeti ya tokeni 400,000.

Hakuwa na njia ya kujua kwamba matokeo ya zamani sasa yangefutwa kwa ajili yake. Kwa hiyo tulimwambia. Maelekezo ya wakala sasa yanasema kwamba mazungumzo yanapokua zaidi ya kile modeli inaweza kubeba, matokeo ya zana ya zamani kabisa yanafutwa na yale mapya zaidi yanabaki kamili — kwa hiyo usisimamishe kazi ndefu ili kuokoa nafasi; endelea, na usome tena faili ukihitaji kilichofutwa.

Marekebisho ambayo modeli haiyaoni si marekebisho kwa mtazamo wa modeli. Utaratibu unasaidia tu iwapo wakala anauamini.

Tatizo la 3: kuhesabu tokeni kana kwamba kila kitu ni Kiingereza

Tulikadiria tokeni bila kuendesha tokenizer, kama herufi zilizogawanywa kwa nne. Hiyo ni kanuni nzuri kwa Kiingereza. Haifai kwa maandishi mengine: Kirusi kinakaribia herufi 2.2 kwa tokeni, na Kichina au Kijapani karibu moja.

Kwa hiyo msaidizi mdogo aliyekuwa anasoma sura za Kirusi alituma ombi la takriban tokeni 640,000 wakati kadirio letu lilisema liko chini ya bajeti ya 400,000. Kadirio hilo lingeweza kwa urahisi sawa kusukuma ombi kupita kikomo kigumu cha modeli.

Kadirio sasa linahesabu kwa mfumo wa maandishi: ASCII ya kawaida kwa herufi nne kwa tokeni, Kichina, Kijapani na Kikorea kwa moja, na kila kitu kingine — Kisirili, Kigiriki, Kiarabu, herufi zenye alama za lafudhi, emoji — kwa mbili. Limeundwa kukosea upande wa juu. Kwenye sura moja ya Kirusi sasa linakadiria tokeni 43,423 dhidi ya takriban 44,600 zilizopimwa; zamani lilisema 25,023. Kwa kuwa ujumbe haubadiliki ukishaandikwa, kadirio lake linahesabiwa mara moja na kukumbukwa, badala ya kila hatua.

Tuliyojifunza

• Punguza mahali ukubwa ulipo kweli. Kwenye kazi ya wakala, ukubwa uko kwenye matokeo ya zana, si kwenye ujumbe wa mtumiaji.
• Mwambie wakala kuhusu wavu wake wa usalama. Vinginevyo anapanga kulingana na mipaka isiyotumika tena.
• "Herufi ÷ 4" ni dhana ya Kiingereza. Chochote kinachohesabu tokeni kwa watumiaji wa lugha nyingi kinapaswa kuhesabu kwa mfumo wa maandishi, au kutumia tokenizer halisi.
• Angalia akiba. Ombi linalobadilika mbele kwenye kila wito linagharimu zaidi na linaendeshwa polepole.

Ukijenga vipengele vya AI kwenye programu yako mwenyewe, miongozo yetu ya LLM ni nini na jinsi ya kutumia API za LLM inafunika dirisha la muktadha na tokeni tangu mwanzo. Maelezo zaidi kuhusu jinsi wasaidizi wadogo wanavyofanya kazi kwenye Mythex yako kwenye nyaraka za wasaidizi wadogo.