RAG ਕੀ ਹੈ? Retrieval-Augmented Generation ਸਧਾਰਨ ਸ਼ਬਦਾਂ ਵਿੱਚ
RAG (retrieval-augmented generation) ਇੱਕ ਤਰੀਕਾ ਹੈ ਜਿਸ ਨਾਲ AI ਮਾਡਲ ਤੁਹਾਡੀ ਆਪਣੀ ਜਾਣਕਾਰੀ ਵਰਤ ਕੇ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਦਿੰਦਾ ਹੈ। ਜਦੋਂ ਕੋਈ ਸਵਾਲ ਪੁੱਛਦਾ ਹੈ, ਤਾਂ ਤੁਹਾਡੀ ਐਪ ਪਹਿਲਾਂ ਤੁਹਾਡੇ ਦਸਤਾਵੇਜ਼ਾਂ ਵਿੱਚੋਂ ਸਭ ਤੋਂ ਢੁਕਵੇਂ ਹਿੱਸੇ ਲੱਭਦੀ ਹੈ, ਫਿਰ ਉਹ ਹਿੱਸੇ ਸਵਾਲ ਦੇ ਨਾਲ ਮਾਡਲ ਨੂੰ ਦਿੰਦੀ ਹੈ। ਮਾਡਲ ਆਪਣਾ ਜਵਾਬ ਉਸ ਟੈਕਸਟ ਤੋਂ ਲਿਖਦਾ ਹੈ, ਨਾ ਕਿ ਸਿਰਫ਼ ਉਸ ਗੱਲ ਤੋਂ ਜੋ ਉਸ ਨੇ ਟ੍ਰੇਨਿੰਗ ਦੌਰਾਨ ਸਿੱਖੀ ਸੀ।
AI ਨਾਲ ਬਣਾਉਂਦੇ ਸਮੇਂ RAG ਕਿਉਂ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ
ਇੱਕ ਵੱਡਾ ਭਾਸ਼ਾ ਮਾਡਲ ਦੁਨੀਆ ਬਾਰੇ ਆਮ ਤੌਰ ’ਤੇ ਬਹੁਤ ਕੁਝ ਜਾਣਦਾ ਹੈ, ਪਰ ਤੁਹਾਡੇ ਕਾਰੋਬਾਰ ਬਾਰੇ ਕੁਝ ਨਹੀਂ: ਤੁਹਾਡੀਆਂ ਕੀਮਤਾਂ, ਨੀਤੀਆਂ, ਉਤਪਾਦ ਦੀ ਮੈਨੂਅਲ, ਪਿਛਲੇ ਹਫ਼ਤੇ ਦੀਆਂ ਸਪੋਰਟ ਟਿਕਟਾਂ। ਇਸ ਦੀ ਸਿਖਲਾਈ ਦੀ ਇੱਕ ਹੱਦ ਵੀ ਹੁੰਦੀ ਹੈ, ਇਸ ਲਈ ਇਸ ਨੂੰ ਤਾਜ਼ਾ ਗੱਲਾਂ ਦੀ ਵੀ ਖ਼ਬਰ ਨਹੀਂ ਹੁੰਦੀ। ਫਿਰ ਵੀ ਜੇ ਤੁਸੀਂ ਪੁੱਛੋ, ਤਾਂ ਇਹ ਯਕੀਨ ਨਾਲ ਪਰ ਗ਼ਲਤ ਜਵਾਬ ਦੇ ਸਕਦਾ ਹੈ।
ਇਸ ਦੇ ਹੱਲ ਲਈ ਤਿੰਨ ਮੋਟੇ ਰਸਤੇ ਹਨ:
| ਪਹੁੰਚ | ਇਹ ਕੀ ਕਰਦੀ ਹੈ | ਕਿਸ ਲਈ ਚੰਗੀ ਹੈ |
|---|---|---|
| ਸਭ ਕੁਝ ਪ੍ਰੌਂਪਟ ਵਿੱਚ ਪਾਓ | ਹਰ ਸਵਾਲ ਨਾਲ ਤੁਹਾਡੇ ਸਾਰੇ ਦਸਤਾਵੇਜ਼ ਭੇਜੋ | ਥੋੜ੍ਹਾ ਟੈਕਸਟ, ਜਿਵੇਂ ਕੁਝ ਪੰਨੇ |
| RAG | ਦਸਤਾਵੇਜ਼ਾਂ ਵਿੱਚੋਂ ਖੋਜੋ, ਸਿਰਫ਼ ਢੁਕਵੇਂ ਹਿੱਸੇ ਭੇਜੋ | ਵੱਡੇ ਜਾਂ ਬਦਲਦੇ ਸੰਗ੍ਰਹਿ: ਮਦਦ ਕੇਂਦਰ, ਮੈਨੂਅਲ, ਨੋਟਸ |
| ਫ਼ਾਈਨ-ਟਿਊਨਿੰਗ | ਮਿਸਾਲਾਂ ’ਤੇ ਮਾਡਲ ਨੂੰ ਹੋਰ ਸਿਖਲਾਈ ਦਿਓ | ਲਹਿਜ਼ਾ, ਫ਼ਾਰਮੈਟ ਅਤੇ ਦੁਹਰਾਈਆਂ ਜਾਣ ਵਾਲੀਆਂ ਕਾਰਵਾਈਆਂ, ਬਦਲਦੇ ਤੱਥ ਨਹੀਂ |
ਆਧੁਨਿਕ ਮਾਡਲ ਲੰਮੇ ਪ੍ਰੌਂਪਟ ਸਵੀਕਾਰ ਕਰਦੇ ਹਨ, ਇਸ ਲਈ ਛੋਟੇ FAQ ਲਈ ਪਹਿਲਾ ਤਰੀਕਾ ਅਕਸਰ ਠੀਕ ਹੁੰਦਾ ਹੈ। RAG ਉਦੋਂ ਲਾਹੇਵੰਦ ਹੁੰਦਾ ਹੈ ਜਦੋਂ ਤੁਹਾਡੇ ਕੋਲ ਇੰਨਾ ਟੈਕਸਟ ਹੋਵੇ ਕਿ ਉਹ ਹਰ ਵਾਰ ਭੇਜਣਾ ਨਾ ਚਾਹੋ, ਕਿਉਂਕਿ ਹਰ ਸ਼ਬਦ ਭੇਜਣ ਦਾ ਖ਼ਰਚਾ ਅਤੇ ਸਮਾਂ ਲੱਗਦਾ ਹੈ (ਵੇਖੋ LLM APIs ਦਾ ਬਿੱਲ ਕਿਵੇਂ ਬਣਦਾ ਹੈ)।
ਜੇ ਤੁਸੀਂ “ਸਾਡੇ ਦਸਤਾਵੇਜ਼ਾਂ ਨਾਲ ਚੈਟ” ਵਾਲੀ ਵਿਸ਼ੇਸ਼ਤਾ, ਸਪੋਰਟ ਸਹਾਇਕ ਜਾਂ ਅੰਦਰੂਨੀ ਜਾਣਕਾਰੀ ਵਾਲਾ ਸੰਦ ਬਣਾ ਰਹੇ ਹੋ, ਤਾਂ ਲਗਭਗ ਯਕੀਨਨ ਤੁਸੀਂ ਕਿਸੇ ਨਾ ਕਿਸੇ ਰੂਪ ਦਾ RAG ਬਣਾ ਰਹੇ ਹੋ।
ਰੋਜ਼ਾਨਾ ਦੀ ਮਿਸਾਲ
ਇੱਕ ਖੁੱਲ੍ਹੀ-ਕਿਤਾਬ ਵਾਲੀ ਪ੍ਰੀਖਿਆ ਦੀ ਕਲਪਨਾ ਕਰੋ। ਜਿਹੜਾ ਵਿਦਿਆਰਥੀ ਯਾਦ ਤੋਂ ਜਵਾਬ ਦੇਣਾ ਹੈ, ਉਹ ਗ਼ਲਤ ਯਾਦ ਕਰ ਸਕਦਾ ਹੈ ਜਾਂ ਗੱਪਾਂ ਮਾਰ ਸਕਦਾ ਹੈ। ਜਿਸ ਨੂੰ ਪਹਿਲਾਂ ਸਹੀ ਪੰਨੇ ਫਰੋਲਣ ਦੀ ਇਜਾਜ਼ਤ ਹੈ, ਉਹ ਪੜ੍ਹ ਕੇ ਜਵਾਬ ਦੇਵੇ ਤਾਂ ਕਿਤੇ ਜ਼ਿਆਦਾ ਭਰੋਸੇਯੋਗ ਹੁੰਦਾ ਹੈ, ਬਸ਼ਰਤੇ ਸਹੀ ਪੰਨੇ ਲੱਭੇ ਜਾਣ।
- ਵਿਦਿਆਰਥੀ ਭਾਸ਼ਾ ਮਾਡਲ ਹੈ।
- ਪਾਠ-ਪੁਸਤਕ ਤੁਹਾਡੇ ਦਸਤਾਵੇਜ਼ ਹਨ।
- ਸਹੀ ਪੰਨੇ ਫਰੋਲਣਾ ਰੀਟਰੀਵਲ (ਖੋਜ) ਹੈ।
- ਉਨ੍ਹਾਂ ਪੰਨਿਆਂ ਤੋਂ ਜਵਾਬ ਲਿਖਣਾ ਜਨਰੇਸ਼ਨ ਹੈ।
RAG ਉਹੀ ਖੁੱਲ੍ਹੀ-ਕਿਤਾਬ ਵਾਲਾ ਰੂਪ ਹੈ। ਅਤੇ ਪ੍ਰੀਖਿਆ ਵਾਂਗ ਹੀ, ਜਵਾਬ ਦੀ ਕੁਆਲਟੀ ਇਸ ’ਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ ਕਿ ਸਹੀ ਪੰਨੇ ਲੱਭੇ ਗਏ ਸਨ ਜਾਂ ਨਹੀਂ।
RAG ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ, ਕਦਮ ਦਰ ਕਦਮ
ਇੱਕ ਆਮ RAG ਸੈੱਟਅੱਪ ਦੇ ਦੋ ਹਿੱਸੇ ਹੁੰਦੇ ਹਨ।
ਦਸਤਾਵੇਜ਼ ਤਿਆਰ ਕਰਨਾ (ਪਹਿਲਾਂ ਹੀ ਕੀਤਾ ਜਾਂਦਾ ਹੈ):
- ਇਕੱਠਾ ਕਰੋ ਸਰੋਤ ਸਮੱਗਰੀ: ਮਦਦ ਲੇਖ, PDF, ਨੀਤੀਆਂ, ਉਤਪਾਦ ਦਾ ਡਾਟਾ।
- ਟੁਕੜਿਆਂ ਵਿੱਚ ਵੰਡੋ (ਚੰਕ): ਲੰਮੇ ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਛੋਟੇ ਟੁਕੜਿਆਂ ਵਿੱਚ ਵੰਡੋ, ਅਕਸਰ ਕੁਝ ਪੈਰੇ ਹਰੇਕ ਦੇ, ਤਾਂ ਜੋ ਖੋਜ ਸਿਰਫ਼ ਢੁਕਵਾਂ ਹਿੱਸਾ ਵਾਪਸ ਦੇ ਸਕੇ।
- ਐਂਬੈਡ ਕਰੋ: ਹਰ ਟੁਕੜਾ ਇੱਕ ਐਂਬੈਡਿੰਗ ਮਾਡਲ ਨੂੰ ਭੇਜੋ, ਜੋ ਟੈਕਸਟ ਨੂੰ ਐਂਬੈਡਿੰਗ ਵਿੱਚ ਬਦਲਦਾ ਹੈ, ਯਾਨੀ ਅਰਥ ਨੂੰ ਫੜਨ ਵਾਲੀਆਂ ਅੰਕਾਂ ਦੀ ਲੰਮੀ ਸੂਚੀ। ਇੱਕੋ ਜਿਹੀਆਂ ਗੱਲਾਂ ਬਾਰੇ ਟੈਕਸਟ ਦੇ ਅੰਕ ਵੀ ਮਿਲਦੇ-ਜੁਲਦੇ ਹੁੰਦੇ ਹਨ।
- ਸਟੋਰ ਕਰੋ: ਟੁਕੜੇ ਅਤੇ ਉਨ੍ਹਾਂ ਦੀਆਂ ਐਂਬੈਡਿੰਗਾਂ ਕਿਸੇ ਅਜਿਹੇ ਡਾਟਾਬੇਸ ਵਿੱਚ ਰੱਖੋ ਜੋ ਸਮਾਨਤਾ ਨਾਲ ਖੋਜ ਸਕੇ (ਜਿਸ ਨੂੰ ਅਕਸਰ ਵੈਕਟਰ ਡਾਟਾਬੇਸ ਜਾਂ ਵੈਕਟਰ ਇੰਡੈਕਸ ਕਿਹਾ ਜਾਂਦਾ ਹੈ)।
ਸਵਾਲ ਦਾ ਜਵਾਬ ਦੇਣਾ (ਹਰ ਵਾਰ ਹੁੰਦਾ ਹੈ):
- ਸਵਾਲ ਨੂੰ ਐਂਬੈਡ ਕਰੋ ਉਸੇ ਐਂਬੈਡਿੰਗ ਮਾਡਲ ਨਾਲ।
- ਖੋਜੋ ਉਹ ਟੁਕੜੇ ਜਿਨ੍ਹਾਂ ਦੀਆਂ ਐਂਬੈਡਿੰਗਾਂ ਸਵਾਲ ਦੀ ਐਂਬੈਡਿੰਗ ਦੇ ਸਭ ਤੋਂ ਨੇੜੇ ਹਨ, ਜਿਵੇਂ ਸਿਖਰਲੇ ਪੰਜ।
- ਪ੍ਰੌਂਪਟ ਬਣਾਓ: ਹਦਾਇਤਾਂ, ਲੱਭੇ ਟੁਕੜੇ ਅਤੇ ਸਵਾਲ।
- ਜਵਾਬ ਬਣਾਓ: ਭਾਸ਼ਾ ਮਾਡਲ ਉਨ੍ਹਾਂ ਟੁਕੜਿਆਂ ’ਤੇ ਆਧਾਰਤ ਜਵਾਬ ਲਿਖਦਾ ਹੈ, ਆਦਰਸ਼ ਤੌਰ ’ਤੇ ਦੱਸਦਾ ਹੋਇਆ ਕਿ ਕਿਹੜੇ ਟੁਕੜੇ ਵਰਤੇ।
ਅਰਥ ਦੇ ਆਧਾਰ ’ਤੇ ਖੋਜ ਹੀ ਇਸ ਨੂੰ ਕੰਮ ਕਰਵਾਉਂਦੀ ਹੈ: “ਆਪਣੇ ਪੈਸੇ ਵਾਪਸ ਲੈਣਾ” ਵਾਲਾ ਸਵਾਲ “ਰਿਫ਼ੰਡ ਨੀਤੀ” ਵਾਲੇ ਟੁਕੜੇ ਨੂੰ ਲੱਭ ਸਕਦਾ ਹੈ, ਭਾਵੇਂ ਦੋਹਾਂ ਵਿੱਚ ਕੋਈ ਇੱਕੋ ਸ਼ਬਦ ਨਾ ਹੋਵੇ।
ਕੰਮ ਦੀ ਮਿਸਾਲ: ਇੱਕ ਜਿੰਮ ਦਾ ਹੈਲਪ ਸਹਾਇਕ
ਮੰਨ ਲਓ ਇੱਕ ਜਿੰਮ ਕੋਲ 40 ਮਦਦ ਲੇਖ ਹਨ ਅਤੇ ਉਹ ਆਪਣੀ ਵੈੱਬਸਾਈਟ ’ਤੇ ਚੈਟ ਸਹਾਇਕ ਚਾਹੁੰਦਾ ਹੈ। ਇੱਕ ਮੈਂਬਰ ਪੁੱਛਦਾ ਹੈ: “ਕੀ ਮੈਂ ਯਾਤਰਾ ਦੌਰਾਨ ਆਪਣੀ ਮੈਂਬਰਸ਼ਿਪ ਰੋਕ ਸਕਦਾ ਹਾਂ?”
ਐਪ ਸਵਾਲ ਨੂੰ ਐਂਬੈਡ ਕਰਦੀ ਹੈ ਅਤੇ ਤਿੰਨ ਸਭ ਤੋਂ ਨੇੜਲੇ ਟੁਕੜੇ ਲੱਭਦੀ ਹੈ। ਇੱਕ ਟੁਕੜਾ ਇਹ ਕਹਿੰਦਾ ਹੈ:
ਮੈਂਬਰਸ਼ਿਪ ਫ੍ਰੀਜ਼: ਮਹੀਨਾਵਾਰ ਪਲਾਨ ਵਾਲੇ ਮੈਂਬਰ ਇੱਕ ਸਾਲ ਵਿੱਚ ਆਪਣੀ
ਮੈਂਬਰਸ਼ਿਪ ਵੱਧ ਤੋਂ ਵੱਧ 2 ਮਹੀਨਿਆਂ ਲਈ ਫ੍ਰੀਜ਼ ਕਰ ਸਕਦੇ ਹਨ। ਫ੍ਰੀਜ਼ ਸ਼ੁਰੂ ਹੋਣ ਤੋਂ ਘੱਟੋ-ਘੱਟ
7 ਦਿਨ ਪਹਿਲਾਂ ਫ੍ਰੰਟ ਡੈਸਕ ’ਤੇ ਜਾਂ ਐਪ ਵਿੱਚ ਬੇਨਤੀ ਕਰੋ।
ਫਿਰ ਮਾਡਲ ਨੂੰ ਭੇਜਿਆ ਗਿਆ ਪ੍ਰੌਂਪਟ ਕੁਝ ਇਸ ਤਰ੍ਹਾਂ ਦਿਸਦਾ ਹੈ:
ਤੁਸੀਂ Northside Gym ਦੇ ਮਦਦ ਸਹਾਇਕ ਹੋ।
ਸਿਰਫ਼ ਹੇਠਾਂ ਦਿੱਤੇ ਸਰੋਤਾਂ ਤੋਂ ਜਵਾਬ ਦਿਓ। ਜੇ ਜਵਾਬ ਇਨ੍ਹਾਂ ਵਿੱਚ ਨਾ ਹੋਵੇ,
ਜਾਂ ਕਹੋ ਕਿ ਤੁਹਾਨੂੰ ਪਤਾ ਨਹੀਂ ਅਤੇ ਫ੍ਰੰਟ ਡੈਸਕ ਨਾਲ ਸੰਪਰਕ ਕਰਨ ਦਾ ਸੁਝਾਅ ਦਿਓ।
ਦੱਸੋ ਕਿ ਤੁਸੀਂ ਕਿਹੜਾ ਸਰੋਤ ਵਰਤਿਆ।
[ਸਰੋਤ 1: ਮੈਂਬਰਸ਼ਿਪ ਫ੍ਰੀਜ਼] ਮਹੀਨਾਵਾਰ ਪਲਾਨ ਵਾਲੇ ਮੈਂਬਰ ਫ੍ਰੀਜ਼...
[ਸਰੋਤ 2: ਮੈਂਬਰਸ਼ਿਪ ਰੱਦ ਕਰਨਾ] ...
[ਸਰੋਤ 3: ਗੈਸਟ ਪਾਸ] ...
ਸਵਾਲ: ਕੀ ਮੈਂ ਯਾਤਰਾ ਦੌਰਾਨ ਆਪਣੀ ਮੈਂਬਰਸ਼ਿਪ ਰੋਕ ਸਕਦਾ ਹਾਂ?
ਅਤੇ ਮਾਡਲ ਜਵਾਬ ਦਿੰਦਾ ਹੈ: “ਹਾਂ, ਮਹੀਨਾਵਾਰ ਪਲਾਨ ’ਤੇ ਤੁਸੀਂ ਇੱਕ ਸਾਲ ਵਿੱਚ ਦੋ ਮਹੀਨਿਆਂ ਤੱਕ ਮੈਂਬਰਸ਼ਿਪ ਫ੍ਰੀਜ਼ ਕਰ ਸਕਦੇ ਹੋ। ਸ਼ੁਰੂ ਹੋਣ ਤੋਂ ਘੱਟੋ-ਘੱਟ 7 ਦਿਨ ਪਹਿਲਾਂ ਫ੍ਰੰਟ ਡੈਸਕ ’ਤੇ ਜਾਂ ਐਪ ਵਿੱਚ ਬੇਨਤੀ ਕਰੋ (ਸਰੋਤ: ਮੈਂਬਰਸ਼ਿਪ ਫ੍ਰੀਜ਼)।”
ਜਿੰਮ ਨੇ ਕੁਝ ਵੀ ਮੁੜ ਟ੍ਰੇਨ ਨਹੀਂ ਕੀਤਾ। ਜਦੋਂ ਉਹ ਫ੍ਰੀਜ਼ ਨੀਤੀ ਬਦਲਦਾ ਹੈ, ਤਾਂ ਲੇਖ ਅੱਪਡੇਟ ਕਰਦਾ ਹੈ, ਐਪ ਉਸ ਟੁਕੜੇ ਨੂੰ ਮੁੜ ਐਂਬੈਡ ਕਰਦੀ ਹੈ, ਅਤੇ ਅਗਲਾ ਜਵਾਬ ਨਵੀਂ ਨੀਤੀ ਦਿਖਾਉਂਦਾ ਹੈ।
ਮੁੱਖ ਸ਼ਬਦ
| ਸ਼ਬਦ | ਮਤਲਬ |
|---|---|
| LLM | Large language model: ਉਹ AI ਜੋ ਜਵਾਬ ਲਿਖਦਾ ਹੈ। ਵੇਖੋ LLM ਕੀ ਹੈ। |
| ਐਂਬੈਡਿੰਗ | ਕਿਸੇ ਟੈਕਸਟ ਦੇ ਅਰਥ ਨੂੰ ਦਰਸਾਉਂਦੀਆਂ ਅੰਕਾਂ ਦੀ ਸੂਚੀ। |
| ਐਂਬੈਡਿੰਗ ਮਾਡਲ | ਜੋ ਐਂਬੈਡਿੰਗ ਬਣਾਉਂਦਾ ਹੈ। ਆਮ ਤੌਰ ’ਤੇ ਚੈਟ ਮਾਡਲ ਤੋਂ ਵੱਖਰਾ ਅਤੇ ਕਿਤੇ ਸਸਤਾ। |
| ਚੰਕ | ਦਸਤਾਵੇਜ਼ ਦਾ ਇੱਕ ਟੁਕੜਾ, ਜਿਸ ਨੂੰ ਇਕੱਲਾ ਲੱਭਿਆ ਜਾ ਸਕੇ। |
| ਵੈਕਟਰ ਡਾਟਾਬੇਸ / ਵੈਕਟਰ ਖੋਜ | ਉਹ ਸਟੋਰੇਜ ਜੋ ਮਿਲਦੀਆਂ-ਜੁਲਦੀਆਂ ਐਂਬੈਡਿੰਗਾਂ ਵਾਲੀਆਂ ਚੀਜ਼ਾਂ ਲੱਭਦੀ ਹੈ। ਕੁਝ ਆਮ ਡਾਟਾਬੇਸ ਵੀ ਇਹ ਦਿੰਦੇ ਹਨ, ਜਿਵੇਂ Postgres pgvector ਐਕਸਟੈਨਸ਼ਨ ਨਾਲ। |
| ਟੌਪ-k | ਹਰ ਸਵਾਲ ਲਈ ਕਿੰਨੇ ਟੁਕੜੇ ਲੱਭੇ ਜਾਂਦੇ ਹਨ। |
| ਹਾਈਬ੍ਰਿਡ ਖੋਜ | ਅਰਥ ਵਾਲੀ ਖੋਜ ਨੂੰ ਆਮ ਕੀਵਰਡ ਖੋਜ ਨਾਲ ਮਿਲਾਉਣਾ, ਜੋ ਉਤਪਾਦ ਕੋਡ ਵਰਗੇ ਸਹੀ ਸ਼ਬਦਾਂ ਲਈ ਮਦਦ ਕਰਦਾ ਹੈ। |
| ਕੰਟੈਕਸਟ ਵਿੰਡੋ | ਇੱਕ ਬੇਨਤੀ ਵਿੱਚ ਮਾਡਲ ਵੱਧ ਤੋਂ ਵੱਧ ਕਿੰਨਾ ਟੈਕਸਟ ਲੈ ਸਕਦਾ ਹੈ। |
| ਗ੍ਰਾਉਂਡਿੰਗ / ਹਵਾਲੇ | ਜਵਾਬ ਨੂੰ ਖ਼ਾਸ ਲੱਭੇ ਸਰੋਤਾਂ ਨਾਲ ਜੋੜਨਾ ਅਤੇ ਉਨ੍ਹਾਂ ਨੂੰ ਵਿਖਾਉਣਾ। |
ਆਮ ਗ਼ਲਤਫ਼ਹਿਮੀਆਂ
- “RAG ਮੇਰੇ ਡਾਟੇ ’ਤੇ ਮਾਡਲ ਨੂੰ ਟ੍ਰੇਨ ਕਰਦਾ ਹੈ।” ਨਹੀਂ। ਮਾਡਲ ਨਹੀਂ ਬਦਲਦਾ; ਉਹ ਸਵਾਲ ਦੇ ਸਮੇਂ ਬੱਸ ਵਾਧੂ ਟੈਕਸਟ ਪੜ੍ਹਦਾ ਹੈ।
- “RAG ਦਾ ਮਤਲਬ ਹੈ ਕੋਈ ਗ਼ਲਤ ਜਵਾਬ ਨਹੀਂ।” ਮਤਲਬ ਘੱਟ ਗ਼ਲਤੀਆਂ। ਜੇ ਖੋਜ ਸਹੀ ਟੁਕੜਾ ਨਾ ਲੱਭੇ, ਜਾਂ ਜਵਾਬ ਦਸਤਾਵੇਜ਼ਾਂ ਵਿੱਚ ਹੈ ਹੀ ਨਾ, ਤਾਂ ਮਾਡਲ ਫਿਰ ਵੀ ਅੰਦਾਜ਼ਾ ਲਾ ਸਕਦਾ ਹੈ। ਉਸ ਨੂੰ ਕਹੋ ਕਿ “ਮੈਨੂੰ ਪਤਾ ਨਹੀਂ” ਕਹੇ ਅਤੇ ਉਨ੍ਹਾਂ ਸਵਾਲਾਂ ਨਾਲ ਪਰਖੋ ਜਿਨ੍ਹਾਂ ਦੇ ਜਵਾਬ ਤੁਹਾਨੂੰ ਪਤਾ ਹਨ।
- “ਮੈਨੂੰ ਕੋਈ ਖ਼ਾਸ ਵੈਕਟਰ ਡਾਟਾਬੇਸ ਚਾਹੀਦਾ ਹੈ।” ਅਕਸਰ ਨਹੀਂ। ਥੋੜ੍ਹੇ ਡਾਟੇ ਲਈ ਤੁਹਾਡੇ ਮੌਜੂਦਾ ਡਾਟਾਬੇਸ ਦਾ ਵੈਕਟਰ ਐਕਸਟੈਨਸ਼ਨ, ਜਾਂ ਸਾਦੀ ਕੀਵਰਡ ਖੋਜ ਵੀ ਕਾਫ਼ੀ ਹੋ ਸਕਦੀ ਹੈ।
- “ਵੱਡੇ ਟੁਕੜੇ ਬਿਹਤਰ ਹਨ।” ਬਹੁਤ ਵੱਡੇ ਹੋਣ ’ਤੇ ਬੇਲੋੜਾ ਟੈਕਸਟ ਜਾਂਦਾ ਹੈ (ਵੱਧ ਖ਼ਰਚਾ, ਉਲਝਣ); ਬਹੁਤ ਛੋਟੇ ਹੋਣ ’ਤੇ ਟੁਕੜਾ ਉਹ ਸੰਦਰਭ ਗੁਆ ਦਿੰਦਾ ਹੈ ਜਿਸ ਨਾਲ ਉਹ ਅਰਥ ਰੱਖਦਾ ਸੀ। ਵਿਵਸਥਾ ਕਰਨੀ ਪੈਂਦੀ ਹੈ।
- “ਸਭ ਕੁਝ ਅਪਲੋਡ ਕਰ ਦਿਓ।” ਪੁਰਾਣੇ, ਦੁਹਰਾਏ ਜਾਂ ਆਪਸ ਵਿੱਚ ਉਲਟੇ ਦਸਤਾਵੇਜ਼ ਉਲਟੇ ਜਵਾਬ ਦਿੰਦੇ ਹਨ। ਸਰੋਤ ਸਮੱਗਰੀ ਸਾਫ਼ ਕਰਨਾ ਅਕਸਰ ਸਭ ਤੋਂ ਵੱਡਾ ਸੁਧਾਰ ਹੁੰਦਾ ਹੈ।
- “ਕੋਈ ਵੀ ਦਸਤਾਵੇਜ਼ ਵੇਖ ਸਕਦਾ ਹੈ।” ਸਿਰਫ਼ ਜੇ ਤੁਸੀਂ ਇੰਝ ਬਣਾਇਆ ਹੋਵੇ। ਜੇ ਕੁਝ ਦਸਤਾਵੇਜ਼ ਖ਼ਾਸ ਯੂਜ਼ਰਾਂ ਲਈ ਨਿੱਜੀ ਹਨ, ਤਾਂ ਖੋਜ ਨੂੰ ਹੀ ਪੁੱਛਣ ਵਾਲੇ ਦੀ ਪਹੁੰਚ ਅਨੁਸਾਰ ਛਾਂਟਣਾ ਪਵੇਗਾ, ਨਹੀਂ ਤਾਂ ਸਹਾਇਕ ਇੱਕ ਗਾਹਕ ਦਾ ਡਾਟਾ ਦੂਜੇ ਨੂੰ ਦੱਸ ਸਕਦਾ ਹੈ।
ਇਸ ਦਾ ਖ਼ਰਚਾ
ਇੱਕ RAG ਫ਼ੀਚਰ ਦੇ ਆਮ ਤੌਰ ’ਤੇ ਤਿੰਨ ਚੱਲਦੇ ਖ਼ਰਚੇ ਹੁੰਦੇ ਹਨ: ਦਸਤਾਵੇਜ਼ਾਂ ਦੀ ਐਂਬੈਡਿੰਗ (ਛੋਟੀ, ਜ਼ਿਆਦਾਤਰ ਇੱਕ ਵਾਰ), ਹਰ ਸਵਾਲ ਦੀ ਐਂਬੈਡਿੰਗ (ਬਹੁਤ ਛੋਟੀ), ਅਤੇ ਭਾਸ਼ਾ ਮਾਡਲ ਦੀ ਕਾਲ (ਮੁੱਖ ਖ਼ਰਚਾ, ਜੋ ਭੇਜੇ ਗਏ ਟੁਕੜਿਆਂ ਦੀ ਗਿਣਤੀ ਨਾਲ ਵਧਦਾ ਹੈ)। ਨਾਲ ਹੀ ਤੁਹਾਡੇ ਡਾਟਾਬੇਸ ਵਿੱਚ ਸਟੋਰੇਜ। ਤੁਹਾਡਾ AI ਪ੍ਰਦਾਤਾ ਇਹ ਸਭ ਤੁਹਾਡੇ ਆਪਣੇ ਖਾਤੇ ’ਤੇ ਬਿੱਲ ਕਰਦਾ ਹੈ, ਇਸ ਲਈ ਉੱਥੇ ਖ਼ਰਚ ਦੀ ਹੱਦ ਤੈਅ ਕਰੋ।
ਆਪਣੇ AI ਬਿਲਡਰ ਨੂੰ ਕੀ ਪੁੱਛਣਾ ਹੈ
- “RAG ਬਣਾਉਣ ਤੋਂ ਪਹਿਲਾਂ ਜਾਂਚੋ: ਕੀ ਸਾਡਾ ਸਮੱਗਰੀ ਇੰਨਾ ਛੋਟਾ ਹੈ ਕਿ ਪ੍ਰੌਂਪਟ ਵਿੱਚ ਹੀ ਪਾਇਆ ਜਾ ਸਕੇ?”
- “ਮਦਦ ਲੇਖਾਂ ਨੂੰ ਕੁਝ ਪੈਰਿਆਂ ਦੇ ਟੁਕੜਿਆਂ ਵਿੱਚ ਵੰਡੋ, ਹਰ ਟੁਕੜੇ ਦਾ ਸਿਰਲੇਖ ਅਤੇ ਸਰੋਤ ਲਿੰਕ ਰੱਖੋ, ਅਤੇ ਐਂਬੈਡਿੰਗ ਸਾਡੇ ਡਾਟਾਬੇਸ ਵਿੱਚ ਰੱਖੋ।”
- “ਹਾਈਬ੍ਰਿਡ ਖੋਜ ਵਰਤੋ, ਯਾਨੀ ਅਰਥ ਅਤੇ ਕੀਵਰਡ ਦੋਵੇਂ, ਤਾਂ ਜੋ ਉਤਪਾਦ ਕੋਡ ਵੀ ਮੇਲ ਖਾਣ।”
- “ਮਾਡਲ ਨੂੰ ਸਿਰਫ਼ ਲੱਭੇ ਸਰੋਤਾਂ ਤੋਂ ਜਵਾਬ ਦੇਣ, ਨਾ ਜਾਣਨ ’ਤੇ ਇਹ ਕਹਿਣ, ਅਤੇ ਹਰ ਜਵਾਬ ਹੇਠਾਂ ਸਰੋਤ ਵਿਖਾਉਣ ਲਈ ਕਹੋ।”
- “ਸਿਰਫ਼ ਉਹ ਦਸਤਾਵੇਜ਼ ਖੋਜੋ ਜੋ ਸਾਈਨ ਇਨ ਯੂਜ਼ਰ ਵੇਖਣ ਦਾ ਹੱਕ ਰੱਖਦਾ ਹੈ।”
- “ਦਸਤਾਵੇਜ਼ ਸੋਧੇ ਜਾਣ ’ਤੇ ਆਪਣੇ ਆਪ ਮੁੜ ਐਂਬੈਡ ਕਰੋ।”
- “AI ਪ੍ਰਦਾਤਾ ਦੀ ਕੁੰਜੀ ਸਰਵਰ ’ਤੇ ਸੀਕਰੇਟ ਵਜੋਂ ਰੱਖੋ, ਬਰਾਊਜ਼ਰ ਵਿੱਚ ਕਦੇ ਨਹੀਂ।”
- “ਹਰ ਸਵਾਲ, ਖੋਜੇ ਟੁਕੜੇ ਅਤੇ ਜਵਾਬ ਲੌਗ ਕਰੋ, ਤਾਂ ਜੋ ਮੈਂ ਮਾੜੇ ਜਵਾਬਾਂ ਦੀ ਸਮੀਖਿਆ ਕਰ ਸਕਾਂ।”
Mythex ਵਿੱਚ RAG
Mythex ਕੋਈ ਬਣਿਆ-ਬਣਾਇਆ ਨਾਲਿਜ ਬੇਸ ਜਾਂ RAG ਉਤਪਾਦ ਨਹੀਂ ਦਿੰਦਾ। ਇਹ ਤੁਹਾਡੀ ਐਪ ਦੇ ਅੰਦਰ ਇਸ ਲਈ ਕੋਡ ਲਿਖਦਾ ਹੈ: ਤੁਸੀਂ ਆਪਣੇ ਦਸਤਾਵੇਜ਼ ਅਤੇ ਆਪਣੀ AI ਪ੍ਰਦਾਤਾ ਕੁੰਜੀ ਲਿਆਉਂਦੇ ਹੋ, ਜੋ ਪ੍ਰੋਜੈਕਟ ਸੀਕਰੇਟ ਵਜੋਂ ਰੱਖੀ ਜਾਂਦੀ ਹੈ, ਅਤੇ ਏਜੰਟ ਖੋਜ ਅਤੇ ਚੈਟ ਵਾਲੇ ਹਿੱਸੇ ਬਣਾਉਂਦਾ ਹੈ, ਸਟੋਰੇਜ ਲਈ ਪ੍ਰੋਜੈਕਟ ਦੇ Postgres ਡਾਟਾਬੇਸ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੋਇਆ। ਪ੍ਰਦਾਤਾ ਦੀ ਵਰਤੋਂ ਦਾ ਬਿੱਲ ਤੁਹਾਡੇ ਪ੍ਰਦਾਤਾ ਖਾਤੇ ’ਤੇ ਜਾਂਦਾ ਹੈ, Mythex ਕ੍ਰੈਡਿਟ ’ਤੇ ਨਹੀਂ। ਡੌਕਸ ਸੁਝਾਉਂਦੇ ਹਨ ਕਿ ਇੱਕ ਸਧਾਰਨ AI ਫ਼ੀਚਰ ਨਾਲ ਸ਼ੁਰੂ ਕਰੋ ਅਤੇ ਉਹ ਚੱਲ ਪਵੇ ਤਾਂ RAG ਜੋੜੋ; ਵੇਖੋ AI ਐਪ ਬਣਾਉਣਾ, ਅਤੇ ਸਾਡੀਆਂ ਗਾਈਡਾਂ AI ਚੈਟਬੌਟ ਐਪ ਬਣਾਉਣਾ ਅਤੇ ਆਪਣੀ ਐਪ ਵਿੱਚ AI ਫ਼ੀਚਰ ਜੋੜਨਾ।
ਸਵਾਲ
ਸਧਾਰਨ ਸ਼ਬਦਾਂ ਵਿੱਚ RAG ਕੀ ਹੈ?
RAG (retrieval-augmented generation) ਇੱਕ ਤਰੀਕਾ ਹੈ ਜਿਸ ਨਾਲ AI ਮਾਡਲ ਤੁਹਾਡੀ ਆਪਣੀ ਜਾਣਕਾਰੀ ਵਿੱਚੋਂ ਜਵਾਬ ਦਿੰਦਾ ਹੈ। ਮਾਡਲ ਜਵਾਬ ਦੇਣ ਤੋਂ ਪਹਿਲਾਂ ਤੁਹਾਡੀ ਐਪ ਤੁਹਾਡੇ ਦਸਤਾਵੇਜ਼ਾਂ ਵਿੱਚੋਂ ਸਵਾਲ ਨਾਲ ਸਭ ਤੋਂ ਢੁਕਵੇਂ ਹਿੱਸੇ ਲੱਭਦੀ ਹੈ ਅਤੇ ਉਨ੍ਹਾਂ ਨੂੰ ਪ੍ਰੌਂਪਟ ਵਿੱਚ ਪਾਉਂਦੀ ਹੈ, ਤਾਂ ਜੋ ਜਵਾਬ ਸਿਰਫ਼ ਟ੍ਰੇਨਿੰਗ ਦੌਰਾਨ ਸਿੱਖੀ ਗੱਲ ’ਤੇ ਨਹੀਂ, ਸਗੋਂ ਉਸ ਲਿਖਤ ’ਤੇ ਅਧਾਰਤ ਹੋਵੇ।
ਕੀ RAG ਮੇਰੇ ਡਾਟੇ ’ਤੇ AI ਨੂੰ ਟ੍ਰੇਨ ਕਰਦਾ ਹੈ?
ਨਹੀਂ। RAG ਮਾਡਲ ਨੂੰ ਬਿਲਕੁਲ ਨਹੀਂ ਬਦਲਦਾ। ਸਵਾਲ ਪੁੱਛੇ ਜਾਣ ਦੇ ਸਮੇਂ ਹੀ ਢੁਕਵਾਂ ਟੈਕਸਟ ਲੱਭਿਆ ਜਾਂਦਾ ਹੈ ਅਤੇ ਸਵਾਲ ਨਾਲ ਮਾਡਲ ਨੂੰ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ। ਜੇ ਤੁਸੀਂ ਕੋਈ ਦਸਤਾਵੇਜ਼ ਬਦਲਦੇ ਹੋ, ਤਾਂ ਅਗਲਾ ਜਵਾਬ ਤੁਰੰਤ ਨਵੇਂ ਵਰਜ਼ਨ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦਾ ਹੈ।
ਕੀ RAG ਅਤੇ ਫ਼ਾਈਨ-ਟਿਊਨਿੰਗ ਇੱਕੋ ਹਨ?
ਨਹੀਂ। ਫ਼ਾਈਨ-ਟਿਊਨਿੰਗ ਮਿਸਾਲਾਂ ’ਤੇ ਹੋਰ ਸਿਖਲਾਈ ਦੇ ਕੇ ਮਾਡਲ ਦਾ ਵਿਹਾਰ ਬਦਲਦੀ ਹੈ, ਜੋ ਹੌਲੀ ਹੁੰਦੀ ਹੈ ਅਤੇ ਲਹਿਜ਼ੇ ਜਾਂ ਫ਼ਾਰਮੈਟ ਲਈ ਬਿਹਤਰ ਹੈ। RAG ਮਾਡਲ ਨੂੰ ਸਵਾਲ ਦੇ ਸਮੇਂ ਪੜ੍ਹਨ ਲਈ ਤੱਥ ਦਿੰਦਾ ਹੈ, ਜੋ ਬਦਲਦੀ ਜਾਣਕਾਰੀ ਜਾਂ ਸਹੀ-ਸਹੀ ਹਵਾਲੇ ਲਈ ਬਿਹਤਰ ਹੈ।
ਕੀ RAG AI ਦੀਆਂ ਗ਼ਲਤ ਜਾਣਕਾਰੀਆਂ (hallucinations) ਰੋਕਦਾ ਹੈ?
ਇਹ ਉਨ੍ਹਾਂ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ, ਪਰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਖ਼ਤਮ ਨਹੀਂ ਕਰਦਾ। ਜੇ ਖੋਜ ਗ਼ਲਤ ਹਿੱਸੇ ਲੱਭੇ, ਜਾਂ ਜਵਾਬ ਤੁਹਾਡੇ ਦਸਤਾਵੇਜ਼ਾਂ ਵਿੱਚ ਹੈ ਹੀ ਨਾ, ਤਾਂ ਮਾਡਲ ਫਿਰ ਵੀ ਅੰਦਾਜ਼ਾ ਲਾ ਸਕਦਾ ਹੈ। ਚੰਗੀਆਂ RAG ਐਪਾਂ ਮਾਡਲ ਨੂੰ ਦੱਸਦੀਆਂ ਹਨ ਕਿ ਨਾ ਜਾਣਨ ’ਤੇ ਇਹ ਕਹੇ, ਅਤੇ ਵਰਤੇ ਗਏ ਸਰੋਤ ਵੀ ਦਿਖਾਉਂਦੀਆਂ ਹਨ।