ਲੰਮੇ ਏਜੰਟ ਟਰਨਾਂ ਨੂੰ ਕੰਟੈਕਸਟ ਵਿੰਡੋ ਦੇ ਅੰਦਰ ਰੱਖਣਾ

ਇੱਕ ਮਾਡਲ ਇੱਕ ਵੇਲੇ ਸਿਰਫ਼ ਏਨਾ ਕੁ ਪੜ੍ਹ ਸਕਦਾ ਹੈ, ਜਿਸਨੂੰ ਉਸਦੀ ਕੰਟੈਕਸਟ ਵਿੰਡੋ ਕਹਿੰਦੇ ਹਨ। Mythex ਦਾ ਏਜੰਟ ਲੰਮਾ ਕੰਮ ਕਰਦਾ ਹੈ: ਕਈ ਫਾਈਲਾਂ ਪੜ੍ਹਨਾ, ਕਮਾਂਡਾਂ ਚਲਾਉਣਾ, ਅਤੇ ਸਬ-ਏਜੰਟਾਂ ਨੂੰ ਸੀਮਤ ਕੰਮ ਦੇਣਾ। ਅਸੀਂ ਲੰਮੇ ਕੰਮ ਦੇ ਟੁੱਟਣ ਦੇ ਤਿੰਨ ਤਰੀਕੇ ਲੱਭੇ: ਸਬ-ਏਜੰਟ ਇੰਨੇ ਵੱਡੇ ਹੋ ਗਏ ਕਿ ਮਾਡਲ ਹਰ ਬੇਨਤੀ ਰੱਦ ਕਰਨ ਲੱਗਾ, ਇੱਕ ਸਬ-ਏਜੰਟ ਜਲਦੀ ਰੁਕ ਗਿਆ ਕਿਉਂਕਿ ਉਸਨੂੰ ਲੱਗਿਆ ਕਿ ਜਗ੍ਹਾ ਖਤਮ ਹੋ ਗਈ ਹੈ, ਅਤੇ ਰੂਸੀ, ਚੀਨੀ ਅਤੇ ਜਾਪਾਨੀ ਟੈਕਸਟ ਲਈ ਸਾਡੀ ਟੋਕਨ ਗਿਣਤੀ ਬਹੁਤ ਗਲਤ ਸੀ। ਇਹ ਹੈ ਜੋ ਅਸੀਂ ਬਦਲਿਆ।

ਪਹਿਲਾਂ ਕੁਝ ਸ਼ਬਦ

• ਟੋਕਨ ਉਹ ਟੁਕੜੇ ਹਨ ਜੋ ਮਾਡਲ ਪੜ੍ਹਦਾ ਹੈ। ਹੱਦਾਂ ਅਤੇ ਖਰਚੇ ਅੱਖਰਾਂ ਜਾਂ ਸ਼ਬਦਾਂ ਵਿੱਚ ਨਹੀਂ, ਇਹਨਾਂ ਵਿੱਚ ਗਿਣੇ ਜਾਂਦੇ ਹਨ।
• ਕੰਟੈਕਸਟ ਵਿੰਡੋ ਉਹ ਸਭ ਤੋਂ ਵੱਧ ਹੈ ਜੋ ਮਾਡਲ ਇੱਕ ਬੇਨਤੀ ਵਿੱਚ ਪੜ੍ਹ ਸਕਦਾ ਹੈ। ਅਸੀਂ ਹਰ ਬੇਨਤੀ ਲਈ ਆਪਣਾ ਘੱਟ ਬਜਟ ਵੀ ਰੱਖਦੇ ਹਾਂ, ਤਾਂ ਜੋ ਖਰਚਾ ਅਤੇ ਰਫ਼ਤਾਰ ਵਾਜਬ ਰਹੇ।
• ਟੂਲ ਨਤੀਜੇ ਉਹ ਹਨ ਜੋ ਏਜੰਟ ਆਪਣੇ ਟੂਲਾਂ ਤੋਂ ਵਾਪਸ ਲੈਂਦਾ ਹੈ: ਇੱਕ ਪੜ੍ਹੀ ਫਾਈਲ ਦੀ ਸਮੱਗਰੀ, ਜਾਂ ਚਲਾਈ ਕਮਾਂਡ ਦਾ ਆਉਟਪੁੱਟ। ਲੰਮੇ ਕੰਮ ਵਿੱਚ ਇਹੀ ਜ਼ਿਆਦਾਤਰ ਭੇਜਿਆ ਜਾਂਦਾ ਹੈ।
• ਸਬ-ਏਜੰਟ ਮੁੱਖ ਏਜੰਟ ਦਾ ਇੱਕ ਸਹਾਇਕ ਹੈ ਜੋ ਕਿਸੇ ਆਪਣੇ-ਆਪ ਵਿੱਚ ਪੂਰੇ ਕੰਮ ਲਈ ਸ਼ੁਰੂ ਹੁੰਦਾ ਹੈ, ਜਿਵੇਂ “ਇਹਨਾਂ ਅਧਿਆਵਾਂ ਨੂੰ ਨੋਟਸ ਨਾਲ ਮਿਲਾਓ”। ਉਸਨੂੰ ਇੱਕ ਹਦਾਇਤ ਮਿਲਦੀ ਹੈ, ਫਿਰ ਉਹ ਆਪਣੇ ਆਪ ਬਹੁਤ ਸਾਰੀਆਂ ਟੂਲ ਕਾਲਾਂ ਵਿੱਚੋਂ ਲੰਘਦਾ ਹੈ।

ਸਮੱਸਿਆ 1: ਸਬ-ਏਜੰਟ ਇੰਨੇ ਵੱਡੇ ਹੋ ਗਏ ਕਿ ਮਾਡਲ ਨੇ ਰੱਦ ਕਰ ਦਿੱਤੇ

ਹਰ ਕਦਮ 'ਤੇ ਏਜੰਟ ਮਾਡਲ ਨੂੰ ਹੁਣ ਤੱਕ ਦੀ ਗੱਲਬਾਤ ਭੇਜਦਾ ਹੈ। ਜਦੋਂ ਇਹ ਬਹੁਤ ਵੱਡੀ ਹੋ ਜਾਂਦੀ, ਸਾਡਾ ਕੋਡ ਇਸਨੂੰ ਛਾਂਟਦਾ ਸੀ, ਪਰ ਸਿਰਫ਼ ਇੱਕ ਯੂਜ਼ਰ ਸੁਨੇਹੇ ਦੀ ਸ਼ੁਰੂਆਤ 'ਤੇ, ਤਾਂ ਜੋ ਟੂਲ ਕਾਲ ਅਤੇ ਉਸਦਾ ਨਤੀਜਾ ਕਦੇ ਵੱਖ ਨਾ ਹੋਣ। ਇਹ ਪਹਿਲਾ ਸੁਨੇਹਾ ਰੱਖਦਾ ਸੀ, ਇੱਕ ਨੋਟ ਜੋੜਦਾ ਸੀ ਕਿ ਪਹਿਲਾਂ ਦੀ ਗੱਲਬਾਤ ਛਾਂਟੀ ਗਈ, ਅਤੇ ਸਭ ਤੋਂ ਨਵੇਂ ਪੂਰੇ ਟਰਨ ਰੱਖਦਾ ਜੋ ਫਿੱਟ ਹੁੰਦੇ ਸਨ।

ਹਰ ਸਬ-ਏਜੰਟ ਕੋਲ ਬਿਲਕੁਲ ਇੱਕ ਯੂਜ਼ਰ ਸੁਨੇਹਾ ਹੁੰਦਾ ਹੈ: ਉਸਦੀ ਹਦਾਇਤ। ਕੱਟਣ ਦੀ ਕੋਈ ਥਾਂ ਨਹੀਂ ਸੀ। ਇਸ ਲਈ ਉਹ ਹਰ ਕਦਮ 'ਤੇ ਆਪਣਾ ਪੂਰਾ ਇਤਿਹਾਸ ਭੇਜਦਾ ਸੀ, ਅਤੇ ਹਰ ਵਾਰ ਵਧਦਾ ਜਾਂਦਾ ਸੀ, ਜਦ ਤੱਕ ਬੇਨਤੀ ਇੰਨੀ ਵੱਡੀ ਨਾ ਹੋ ਜਾਂਦੀ ਕਿ ਮਾਡਲ ਉਸਨੂੰ ਬਿਲਕੁਲ ਨਾ ਮੰਨੇ, ਲਗਭਗ ਦਸ ਲੱਖ ਟੋਕਨ। ਇੱਕ ਟੈਸਟ ਵਿੱਚ 8 ਅਜਿਹੇ ਸਬ-ਏਜੰਟ ਸਨ, ਅਤੇ ਸਾਰੇ 8 ਰੱਦ ਹੋ ਗਏ।

ਹੱਲ: ਪਹਿਲਾਂ ਪੁਰਾਣੇ ਟੂਲ ਨਤੀਜੇ ਸਾਫ਼ ਕਰੋ

ਹੁਣ ਬੇਨਤੀਆਂ ਤਿੰਨ ਕਦਮਾਂ ਵਿੱਚ ਬਜਟ ਵਿੱਚ ਫਿੱਟ ਹੁੰਦੀਆਂ ਹਨ, ਅਤੇ ਹਰ ਅਗਲਾ ਕਦਮ ਸਿਰਫ਼ ਉਦੋਂ ਚੱਲਦਾ ਹੈ ਜਦੋਂ ਪਿਛਲਾ ਕਾਫ਼ੀ ਨਾ ਹੋਵੇ:

1. ਸਭ ਤੋਂ ਪੁਰਾਣੇ ਟੂਲ ਨਤੀਜੇ ਸਾਫ਼ ਕਰੋ। ਉਹਨਾਂ ਦੀ ਸਮੱਗਰੀ ਇੱਕ ਛੋਟੇ ਨੋਟ ਨਾਲ ਬਦਲ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ: ਨਤੀਜਾ ਗੱਲਬਾਤ ਨੂੰ ਮਾਡਲ ਦੀ ਕੰਟੈਕਸਟ ਵਿੱਚ ਰੱਖਣ ਲਈ ਸਾਫ਼ ਕੀਤਾ ਗਿਆ ਸੀ, ਅਤੇ ਜੇ ਲੋੜ ਹੋਵੇ ਤਾਂ ਏਜੰਟ ਟੂਲ ਮੁੜ ਚਲਾ ਸਕਦਾ ਹੈ। ਇੱਕ ਘੰਟਾ ਪਹਿਲਾਂ ਪੜ੍ਹੀ ਫਾਈਲ ਆਮ ਤੌਰ 'ਤੇ ਬੇਨਤੀ ਵਿੱਚ ਸਭ ਤੋਂ ਵੱਡੀ ਅਤੇ ਸਭ ਤੋਂ ਘੱਟ ਕੰਮ ਦੀ ਚੀਜ਼ ਹੁੰਦੀ ਹੈ, ਅਤੇ ਫਾਈਲ ਅਜੇ ਵੀ ਮੁੜ ਪੜ੍ਹਨ ਲਈ ਮੌਜੂਦ ਹੈ। ਸਭ ਤੋਂ ਨਵੇਂ ਨਤੀਜੇ ਪੂਰੇ ਰਹਿੰਦੇ ਹਨ।
2. ਪੂਰੇ ਯੂਜ਼ਰ ਟਰਨ ਰੱਖੋ। ਪਹਿਲਾਂ ਵਾਂਗ: ਪਹਿਲਾ ਸੁਨੇਹਾ, ਇੱਕ ਨੋਟ, ਅਤੇ ਸਭ ਤੋਂ ਨਵੇਂ ਪੂਰੇ ਟਰਨ ਜੋ ਫਿੱਟ ਹੁੰਦੇ ਹਨ।
3. ਪੂਰੇ ਟੂਲ ਰਾਊਂਡ ਰੱਖੋ। ਇੱਕ ਲੰਮੇ ਟਰਨ ਦੇ ਅੰਦਰ, ਜੋ ਸਬ-ਏਜੰਟ ਕੋਲ ਹੁੰਦਾ ਹੈ, ਪਹਿਲਾ ਸੁਨੇਹਾ, ਇੱਕ ਨੋਟ, ਅਤੇ “ਟੂਲ ਕਾਲ ਕਰੋ, ਨਤੀਜਾ ਲਓ” ਦੇ ਸਭ ਤੋਂ ਨਵੇਂ ਪੂਰੇ ਰਾਊਂਡ ਰੱਖੋ।

ਇਹ ਸਿਰਫ਼ ਇਹ ਬਦਲਦਾ ਹੈ ਕਿ ਕੀ ਭੇਜਿਆ ਜਾਂਦਾ ਹੈ। ਏਜੰਟ ਦਾ ਸੰਭਾਲਿਆ ਇਤਿਹਾਸ ਸਭ ਕੁਝ ਰੱਖਦਾ ਹੈ। ਉਸੇ ਟੈਸਟ ਵਿੱਚ 8 ਵਿੱਚੋਂ 0 ਰੱਦ ਹੋਏ ਅਤੇ ਸਾਰੇ 8 ਮੁਕੰਮਲ ਹੋਏ।

ਬੈਚਾਂ ਵਿੱਚ ਸਾਫ਼ ਕਰਨਾ, ਤਾਂ ਜੋ ਕੈਸ਼ਿੰਗ ਕੰਮ ਕਰਦੀ ਰਹੇ

ਮਾਡਲ ਪ੍ਰਦਾਤਾ ਬੇਨਤੀ ਦੀ ਸ਼ੁਰੂਆਤ ਦਾ ਕੰਮ ਮੁੜ ਵਰਤ ਸਕਦੇ ਹਨ ਜੇ ਉਹ ਪਿਛਲੀ ਬੇਨਤੀ ਵਰਗੀ ਹੋਵੇ, ਇਸਨੂੰ ਪ੍ਰੀਫਿਕਸ ਕੈਸ਼ ਕਹਿੰਦੇ ਹਨ। ਜੇ ਅਸੀਂ ਹਰ ਕਾਲ 'ਤੇ ਇੱਕ ਹੋਰ ਨਤੀਜਾ ਸਾਫ਼ ਕਰਦੇ, ਤਾਂ ਬੇਨਤੀ ਦੀ ਸ਼ੁਰੂਆਤ ਹਰ ਕਾਲ 'ਤੇ ਬਦਲਦੀ, ਅਤੇ ਕੈਸ਼ ਕਦੇ ਮਦਦ ਨਾ ਕਰਦਾ।

ਇਸ ਲਈ ਪੁਰਾਣੇ ਨਤੀਜੇ ਇੱਕ ਵੇਲੇ ਨਹੀਂ, ਚਾਰ-ਚਾਰ ਕਰਕੇ ਸਾਫ਼ ਹੁੰਦੇ ਹਨ। ਸਾਫ਼ ਹੋਇਆ ਹਿੱਸਾ ਕਈ ਕਾਲਾਂ ਤੱਕ ਇੱਕੋ ਜਿਹਾ ਰਹਿੰਦਾ ਹੈ। ਜਿਹੜਾ ਨਤੀਜਾ ਨੋਟ ਤੋਂ ਬਹੁਤਾ ਵੱਡਾ ਨਹੀਂ, ਉਸਨੂੰ ਛੱਡ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ: ਉਸਨੂੰ ਸਾਫ਼ ਕਰਨ ਨਾਲ ਲਗਭਗ ਕੁਝ ਨਹੀਂ ਬਚਦਾ ਅਤੇ ਫਿਰ ਵੀ ਬੇਨਤੀ ਦੀ ਸ਼ੁਰੂਆਤ ਬਦਲ ਜਾਂਦੀ। ਕਿੰਨਾ ਹਿੱਸਾ ਪੂਰਾ ਰਹੇ, ਇਹ ਗਿਣਤੀ ਨਾਲ ਨਹੀਂ, ਆਕਾਰ ਨਾਲ ਤੈਅ ਹੁੰਦਾ ਹੈ: ਸਭ ਤੋਂ ਨਵੇਂ ਨਤੀਜੇ ਜੋ ਬਜਟ ਦੇ ਚੌਥਾਈ ਹਿੱਸੇ ਵਿੱਚ ਫਿੱਟ ਹੁੰਦੇ ਹਨ ਰਹਿੰਦੇ ਹਨ, ਅਤੇ ਹਮੇਸ਼ਾਂ ਘੱਟੋ-ਘੱਟ ਇੱਕ। ਪਹਿਲਾਂ ਇਹ ਸਥਿਰ ਛੇ ਪੂਰੇ ਰੱਖਦਾ ਸੀ, ਜੋ ਛੋਟੀ ਕਮਾਂਡ ਆਉਟਪੁੱਟ ਲਈ ਠੀਕ ਸੀ, ਪਰ ਲੰਮੀਆਂ ਫਾਈਲ ਰੀਡਾਂ ਨਾਲ ਬਜਟ ਦਾ ਜ਼ਿਆਦਾਤਰ ਹਿੱਸਾ ਪੁਰਾਣੇ ਨਤੀਜਿਆਂ ਕੋਲ ਰਹਿ ਜਾਂਦਾ ਸੀ।

ਹੁਣ ਰੱਦ ਹੋਣ 'ਤੇ ਇਹ ਦੱਸਿਆ ਜਾਂਦਾ ਹੈ

ਜਿਸ ਬੇਨਤੀ ਨੂੰ ਮਾਡਲ ਗਲਤ ਕਹਿ ਕੇ ਰੱਦ ਕਰਦਾ ਹੈ, ਉਸਨੂੰ ਹੁਣ ਦੁਬਾਰਾ ਨਹੀਂ ਭੇਜਿਆ ਜਾਂਦਾ; ਉਹੀ ਬੇਨਤੀ ਦੁਬਾਰਾ ਭੇਜਣ ਨਾਲ ਉਹੀ ਜਵਾਬ ਮਿਲਦਾ ਹੈ। ਜੇ ਗੱਲਬਾਤ ਮਾਡਲ ਲਈ ਬਹੁਤ ਲੰਮੀ ਹੋ ਜਾਵੇ, ਤਾਂ ਵਿਅਕਤੀ ਨੂੰ ਇਹ ਦਿਖਦਾ ਹੈ: “ਇਹ ਗੱਲਬਾਤ ਮਾਡਲ ਲਈ ਇੱਕ ਵਾਰ ਵਿੱਚ ਪੜ੍ਹਨ ਲਈ ਬਹੁਤ ਲੰਮੀ ਹੋ ਗਈ। ਅਗਲੇ ਕਦਮ ਲਈ ਨਵੀਂ ਚੈਟ ਸ਼ੁਰੂ ਕਰੋ; ਹੁਣ ਤੱਕ ਬਣਾਇਆ ਸਭ ਕੁਝ ਰਹੇਗਾ।” ਇਹ ਵਿਅਕਤੀ ਦੇ ਕਰਨ ਵਾਲੀ ਗੱਲ ਹੈ, ਕੋਈ ਆਊਟੇਜ ਨਹੀਂ, ਇਸ ਲਈ ਇਹ ਸਾਨੂੰ ਪੇਜ ਨਹੀਂ ਕਰਦਾ।

ਸਮੱਸਿਆ 2: ਏਜੰਟ “ਜਗ੍ਹਾ ਬਚਾਉਣ” ਲਈ ਰੁਕ ਗਿਆ

ਇੱਕ ਸਬ-ਏਜੰਟ ਨੂੰ 40 ਲੰਮੇ ਅਧਿਆਏ ਪੜ੍ਹਨ ਲਈ ਕਿਹਾ ਗਿਆ, ਅਤੇ ਉਹ 2 ਪੜ੍ਹ ਕੇ ਰੁਕ ਗਿਆ, ਇਹ ਕਹਿੰਦੇ ਹੋਏ ਕਿ ਉਹ ਜਗ੍ਹਾ ਬਚਾਉਣਾ ਚਾਹੁੰਦਾ ਹੈ। ਉਸਨੇ 400,000 ਟੋਕਨ ਬਜਟ ਵਿੱਚੋਂ ਲਗਭਗ 100,000 ਟੋਕਨ ਵਰਤੇ ਸਨ।

ਉਸ ਕੋਲ ਇਹ ਜਾਣਨ ਦਾ ਕੋਈ ਤਰੀਕਾ ਨਹੀਂ ਸੀ ਕਿ ਹੁਣ ਉਸ ਲਈ ਪੁਰਾਣੇ ਨਤੀਜੇ ਸਾਫ਼ ਹੋ ਜਾਣਗੇ। ਇਸ ਲਈ ਅਸੀਂ ਉਸਨੂੰ ਦੱਸ ਦਿੱਤਾ। ਹੁਣ ਏਜੰਟ ਦੀਆਂ ਹਦਾਇਤਾਂ ਕਹਿੰਦੀਆਂ ਹਨ ਕਿ ਜਦੋਂ ਗੱਲਬਾਤ ਮਾਡਲ ਦੀ ਹੱਦ ਤੋਂ ਵੱਧ ਹੋ ਜਾਵੇ, ਤਾਂ ਪੁਰਾਣੇ ਟੂਲ ਨਤੀਜੇ ਸਾਫ਼ ਹੁੰਦੇ ਹਨ ਅਤੇ ਸਭ ਤੋਂ ਨਵੇਂ ਪੂਰੇ ਰਹਿੰਦੇ ਹਨ, ਇਸ ਲਈ ਜਗ੍ਹਾ ਬਚਾਉਣ ਲਈ ਲੰਮਾ ਕੰਮ ਨਾ ਰੋਕੋ; ਚੱਲਦੇ ਰਹੋ, ਅਤੇ ਜੇ ਸਾਫ਼ ਹੋਇਆ ਚਾਹੀਦਾ ਹੈ ਤਾਂ ਫਾਈਲ ਮੁੜ ਪੜ੍ਹੋ।

ਜੋ ਫਿਕਸ ਮਾਡਲ ਨੂੰ ਨਜ਼ਰ ਨਹੀਂ ਆਉਂਦਾ, ਉਹ ਮਾਡਲ ਦੇ ਨਜ਼ਰੀਏ ਤੋਂ ਫਿਕਸ ਨਹੀਂ ਹੁੰਦਾ। ਇਹ ਵਿਧੀ ਉਦੋਂ ਹੀ ਮਦਦ ਕਰਦੀ ਹੈ ਜਦੋਂ ਏਜੰਟ ਉਸ 'ਤੇ ਭਰੋਸਾ ਕਰਦਾ ਹੈ।

ਸਮੱਸਿਆ 3: ਟੋਕਨ ਇਸ ਤਰ੍ਹਾਂ ਗਿਣਨਾ ਜਿਵੇਂ ਸਭ ਕੁਝ ਅੰਗਰੇਜ਼ੀ ਹੋਵੇ

ਅਸੀਂ ਟੋਕਨਾਈਜ਼ਰ ਚਲਾਏ ਬਿਨਾਂ ਟੋਕਨ ਦਾ ਅੰਦਾਜ਼ਾ ਲਗਾਉਂਦੇ ਸੀ, ਅੱਖਰਾਂ ਨੂੰ ਚਾਰ ਨਾਲ ਭਾਗ ਕਰਕੇ। ਅੰਗਰੇਜ਼ੀ ਲਈ ਇਹ ਇੱਕ ਵਾਜਬ ਅੰਦਾਜ਼ਾ ਹੈ। ਹੋਰ ਲਿਪੀਆਂ ਲਈ ਨਹੀਂ: ਰੂਸੀ ਲਗਭਗ 2.2 ਅੱਖਰ ਪ੍ਰਤੀ ਟੋਕਨ ਚੱਲਦੀ ਹੈ, ਅਤੇ ਚੀਨੀ ਜਾਂ ਜਾਪਾਨੀ ਲਗਭਗ ਇੱਕ।

ਇਸ ਲਈ ਰੂਸੀ ਅਧਿਆਏ ਪੜ੍ਹਦਾ ਇੱਕ ਸਬ-ਏਜੰਟ ਲਗਭਗ 640,000 ਟੋਕਨਾਂ ਦੀ ਬੇਨਤੀ ਭੇਜ ਰਿਹਾ ਸੀ, ਜਦਕਿ ਸਾਡਾ ਅੰਦਾਜ਼ਾ ਕਹਿੰਦਾ ਸੀ ਕਿ ਉਹ 400,000 ਬਜਟ ਤੋਂ ਹੇਠਾਂ ਹੈ। ਇਹ ਅੰਦਾਜ਼ਾ ਬੇਨਤੀ ਨੂੰ ਮਾਡਲ ਦੀ ਪੱਕੀ ਹੱਦ ਤੋਂ ਵੀ ਪਾਰ ਲਿਜਾ ਸਕਦਾ ਸੀ।

ਹੁਣ ਅੰਦਾਜ਼ਾ ਲਿਪੀ ਦੇ ਹਿਸਾਬ ਨਾਲ ਗਿਣਦਾ ਹੈ: ਸਾਦਾ ASCII ਚਾਰ ਅੱਖਰ ਪ੍ਰਤੀ ਟੋਕਨ, ਚੀਨੀ, ਜਾਪਾਨੀ ਅਤੇ ਕੋਰੀਆਈ ਇੱਕ, ਅਤੇ ਬਾਕੀ ਸਭ, ਜਿਵੇਂ ਸਿਰਿਲਿਕ, ਯੂਨਾਨੀ, ਅਰਬੀ, ਲਹਿਜੇ ਵਾਲੇ ਅੱਖਰ, ਇਮੋਜੀ, ਦੋ ਅੱਖਰ ਪ੍ਰਤੀ ਟੋਕਨ। ਇਹ ਜਾਣਬੁੱਝ ਕੇ ਵੱਧ ਅੰਦਾਜ਼ਾ ਲਗਾਉਣ ਲਈ ਹੈ। ਇੱਕ ਰੂਸੀ ਅਧਿਆਏ 'ਤੇ ਹੁਣ ਇਹ 43,423 ਟੋਕਨਾਂ ਦਾ ਅੰਦਾਜ਼ਾ ਲਗਾਉਂਦਾ ਹੈ, ਜਦਕਿ ਮਾਪ ਲਗਭਗ 44,600 ਸੀ; ਪਹਿਲਾਂ ਇਹ 25,023 ਕਹਿੰਦਾ ਸੀ। ਕਿਉਂਕਿ ਇੱਕ ਵਾਰ ਲਿਖਿਆ ਸੁਨੇਹਾ ਕਦੇ ਨਹੀਂ ਬਦਲਦਾ, ਉਸਦਾ ਅੰਦਾਜ਼ਾ ਇੱਕ ਵਾਰ ਕੱਢਿਆ ਜਾਂਦਾ ਹੈ ਅਤੇ ਯਾਦ ਰੱਖਿਆ ਜਾਂਦਾ ਹੈ, ਹਰ ਕਦਮ 'ਤੇ ਦੁਬਾਰਾ ਨਹੀਂ।

ਅਸੀਂ ਇਸ ਤੋਂ ਕੀ ਸਿੱਖਿਆ

• ਛਾਂਟੀ ਉੱਥੇ ਕਰੋ ਜਿੱਥੇ ਆਕਾਰ ਅਸਲ ਵਿੱਚ ਹੈ। ਏਜੰਟ ਦੇ ਕੰਮ ਵਿੱਚ ਇਹ ਟੂਲ ਨਤੀਜੇ ਹਨ, ਯੂਜ਼ਰ ਸੁਨੇਹੇ ਨਹੀਂ।
• ਏਜੰਟ ਨੂੰ ਆਪਣੇ ਸੁਰੱਖਿਆ ਜਾਲਾਂ ਬਾਰੇ ਦੱਸੋ। ਨਹੀਂ ਤਾਂ ਉਹ ਉਹਨਾਂ ਹੱਦਾਂ ਦੇ ਹਿਸਾਬ ਨਾਲ ਯੋਜਨਾ ਬਣਾਉਂਦਾ ਹੈ ਜੋ ਹੁਣ ਲਾਗੂ ਨਹੀਂ ਹੁੰਦੀਆਂ।
• “ਅੱਖਰ ÷ 4” ਇੱਕ ਅੰਗਰੇਜ਼ੀ ਧਾਰਨਾ ਹੈ। ਜੋ ਵੀ ਬਹੁ-ਭਾਸ਼ੀ ਯੂਜ਼ਰਾਂ ਲਈ ਟੋਕਨ ਗਿਣਦਾ ਹੈ, ਉਸਨੂੰ ਲਿਪੀ ਦੇ ਹਿਸਾਬ ਨਾਲ ਗਿਣਨਾ ਪਵੇਗਾ, ਜਾਂ ਅਸਲ ਟੋਕਨਾਈਜ਼ਰ ਵਰਤਣਾ ਪਵੇਗਾ।
• ਕੈਸ਼ ਦਾ ਧਿਆਨ ਰੱਖੋ। ਹਰ ਕਾਲ 'ਤੇ ਸ਼ੁਰੂ ਤੋਂ ਬਦਲਣ ਵਾਲੀ ਬੇਨਤੀ ਵਧੇਰੇ ਖਰਚਦੀ ਹੈ ਅਤੇ ਹੌਲੀ ਚੱਲਦੀ ਹੈ।

ਜੇ ਤੁਸੀਂ ਆਪਣੀ ਐਪ ਵਿੱਚ AI ਫੀਚਰ ਬਣਾ ਰਹੇ ਹੋ, ਤਾਂ LLM ਕੀ ਹੈ ਅਤੇ LLM APIs ਕਿਵੇਂ ਵਰਤਣੇ ਹਨ ਗਾਈਡਾਂ ਸ਼ੁਰੂ ਤੋਂ ਹੀ ਕੰਟੈਕਸਟ ਵਿੰਡੋ ਅਤੇ ਟੋਕਨ ਕਵਰ ਕਰਦੀਆਂ ਹਨ। Mythex ਵਿੱਚ ਸਬ-ਏਜੰਟ ਕਿਵੇਂ ਕੰਮ ਕਰਦੇ ਹਨ ਇਸ ਬਾਰੇ ਹੋਰ ਸਬ-ਏਜੰਟ ਦਸਤਾਵੇਜ਼ਾਂ ਵਿੱਚ ਹੈ।