എന്താണ് RAG? Retrieval-Augmented Generation ലളിതമായി വിശദീകരിക്കുന്നു
RAG (retrieval-augmented generation) എന്നത് നിങ്ങളുടെ സ്വന്തം വിവരങ്ങൾ ഉപയോഗിച്ച് AI മോഡലിനെ ചോദ്യങ്ങൾക്ക് ഉത്തരം നൽകാൻ പ്രാപ്തമാക്കുന്ന രീതിയാണ്. ആരെങ്കിലും ഒരു ചോദ്യം ചോദിക്കുമ്പോൾ, നിങ്ങളുടെ ആപ്പ് ആദ്യം നിങ്ങളുടെ ഡോക്യുമെന്റുകളിൽ ഏറ്റവും പ്രസക്തമായ ഭാഗങ്ങൾ തിരയുന്നു, പിന്നെ ആ ഭാഗങ്ങൾ ചോദ്യത്തോടൊപ്പം മോഡലിന് നൽകുന്നു. പരിശീലന സമയത്ത് മോഡൽ യാദൃച്ഛികമായി പഠിച്ചതിനെ മാത്രം ആശ്രയിക്കാതെ, ആ വാചകത്തിൽ നിന്നാണ് മോഡൽ ഉത്തരം എഴുതുന്നത്.
AI ഉപയോഗിച്ച് നിർമ്മിക്കുമ്പോൾ RAG പ്രധാനമായത് എന്തുകൊണ്ട്
ഒരു വലിയ ഭാഷാ മോഡലിന് ലോകത്തെക്കുറിച്ച് പൊതുവായി ധാരാളം അറിയാം, പക്ഷേ നിങ്ങളുടെ ബിസിനസിനെക്കുറിച്ച് ഒന്നും അറിയില്ല: നിങ്ങളുടെ വിലകൾ, നയങ്ങൾ, ഉൽപ്പന്ന മാനുവൽ, കഴിഞ്ഞ ആഴ്ചയിലെ സപ്പോർട്ട് ടിക്കറ്റുകൾ. പരിശീലനത്തിന് ഒരു അവസാന തീയതി ഉള്ളതിനാൽ അടുത്തിടെയുള്ള കാര്യങ്ങളും അതിന് അറിയില്ല. എന്നിട്ടും ചോദിച്ചാൽ ആത്മവിശ്വാസത്തോടെ, ശരിയെന്ന് തോന്നുന്ന പക്ഷേ തെറ്റായ ഉത്തരം അത് നൽകിയേക്കാം.
ഇത് പരിഹരിക്കാൻ മൂന്ന് പ്രധാന വഴികളുണ്ട്:
| സമീപനം | അത് ചെയ്യുന്നത് | ഏതിന് നല്ലത് |
|---|---|---|
| എല്ലാം പ്രോംപ്റ്റിൽ ഒട്ടിക്കുക | ഓരോ ചോദ്യത്തിനും എല്ലാ ഡോക്യുമെന്റുകളും അയക്കുക | കുറച്ച് വാചകം — ഏതാനും പേജുകൾ |
| RAG | നിങ്ങളുടെ ഡോക്യുമെന്റുകൾ തിരയുക, പ്രസക്തമായ ഭാഗങ്ങൾ മാത്രം അയക്കുക | വലുതോ മാറിക്കൊണ്ടിരിക്കുന്നതോ ആയ ശേഖരങ്ങൾ: സഹായ കേന്ദ്രങ്ങൾ, മാനുവലുകൾ, കുറിപ്പുകൾ |
| Fine-tuning | ഉദാഹരണങ്ങളിൽ മോഡലിന് കൂടുതൽ പരിശീലനം നൽകുക | ശൈലി, ഫോർമാറ്റ്, ആവർത്തിച്ചുള്ള ജോലികൾ — മാറുന്ന വസ്തുതകൾക്കല്ല |
ആധുനിക മോഡലുകൾ നീണ്ട പ്രോംപ്റ്റുകൾ സ്വീകരിക്കുന്നതിനാൽ, ചെറിയ FAQ-ന് ആദ്യത്തെ വഴി പലപ്പോഴും മതിയാകും. ഓരോ തവണയും അയക്കേണ്ടതിനെക്കാൾ കൂടുതൽ വാചകം ഉള്ളപ്പോഴാണ് RAG അതിന്റെ സ്ഥാനം നേടുന്നത് — കാരണം നിങ്ങൾ അയക്കുന്ന ഓരോ വാക്കിനും പണവും സമയവും ചെലവാകുന്നു (LLM APIs എങ്ങനെ ചാർജ് ചെയ്യുന്നു കാണുക).
"നിങ്ങളുടെ ഡോക്സുമായി ചാറ്റ് ചെയ്യുക" എന്ന ഫീച്ചർ, സപ്പോർട്ട് അസിസ്റ്റന്റ് അല്ലെങ്കിൽ ആന്തരിക വിജ്ഞാന ഉപകരണം ആണ് നിങ്ങൾ നിർമ്മിക്കുന്നതെങ്കിൽ, തീർച്ചയായും ഏതെങ്കിലുമൊരു രൂപത്തിലുള്ള RAG ആണ് നിങ്ങൾ നിർമ്മിക്കുന്നത്.
ദൈനംദിന ജീവിതത്തിലെ ഒരു ഉദാഹരണം
ഒരു open-book പരീക്ഷ സങ്കൽപ്പിക്കുക. ഓർമ്മയിൽ നിന്ന് ഉത്തരം എഴുതേണ്ട വിദ്യാർത്ഥി തെറ്റിപ്പോകുകയോ ഊഹിക്കുകയോ ചെയ്തേക്കാം. ആദ്യം ശരിയായ പേജുകൾ മറിച്ച് വായിച്ച് പിന്നെ ഉത്തരം എഴുതാൻ അനുവദിക്കുന്ന വിദ്യാർത്ഥി വളരെ വിശ്വസനീയനാണ് — ശരിയായ പേജുകൾ കണ്ടെത്താൻ കഴിഞ്ഞാൽ മാത്രം.
- വിദ്യാർത്ഥി ആണ് ഭാഷാ മോഡൽ.
- പാഠപുസ്തകം ആണ് നിങ്ങളുടെ ഡോക്യുമെന്റുകൾ.
- ശരിയായ പേജുകൾ മറിക്കുന്നത് ആണ് retrieval.
- ആ പേജുകളിൽ നിന്ന് ഉത്തരം എഴുതുന്നത് ആണ് generation.
RAG ആണ് open-book പതിപ്പ്. പരീക്ഷയിലെന്നപോലെ, ഉത്തരത്തിന്റെ ഗുണം ശരിയായ പേജുകൾ കണ്ടെത്തിയോ എന്നതിനെ വലിയ തോതിൽ ആശ്രയിക്കുന്നു.
RAG എങ്ങനെ പ്രവർത്തിക്കുന്നു, ഘട്ടം ഘട്ടമായി
സാധാരണ RAG സജ്ജീകരണത്തിന് രണ്ട് ഘട്ടങ്ങളുണ്ട്.
നിങ്ങളുടെ ഡോക്യുമെന്റുകൾ തയ്യാറാക്കൽ (മുൻകൂട്ടി ചെയ്യുന്നത്):
- ശേഖരിക്കുക — സഹായ ലേഖനങ്ങൾ, PDF-കൾ, നയങ്ങൾ, ഉൽപ്പന്ന ഡാറ്റ.
- Chunk ചെയ്യുക: നീണ്ട ഡോക്യുമെന്റുകളെ ചെറിയ ഭാഗങ്ങളാക്കുക, പലപ്പോഴും കുറച്ച് ഖണ്ഡികകൾ വീതം, അതുവഴി തിരയലിന് പ്രസക്തമായ ഭാഗം മാത്രം തിരിച്ചു നൽകാൻ കഴിയും.
- ഓരോ chunk-നും Embed ചെയ്യുക: അതൊരു embedding model-ലേക്ക് അയക്കുക. അത് വാചകത്തെ ഒരു embedding ആക്കുന്നു — അതിന്റെ അർത്ഥം പിടിച്ചെടുക്കുന്ന സംഖ്യകളുടെ നീണ്ട പട്ടിക. സമാനമായ കാര്യങ്ങളെക്കുറിച്ചുള്ള വാചകങ്ങൾക്ക് സമാനമായ സംഖ്യകൾ ലഭിക്കും.
- സംഭരിക്കുക: chunk-കളും അവയുടെ embeddings-ഉം സാമ്യത്തിലൂടെ തിരയാൻ കഴിയുന്ന ഒരു ഡേറ്റാബേസിൽ സൂക്ഷിക്കുക (പലപ്പോഴും vector database അല്ലെങ്കിൽ vector index എന്ന് വിളിക്കുന്നു).
ഒരു ചോദ്യത്തിന് ഉത്തരം നൽകൽ (ഓരോ തവണയും ചെയ്യുന്നത്):
- ചോദ്യം Embed ചെയ്യുക, അതേ embedding model ഉപയോഗിച്ച്.
- Retrieve ചെയ്യുക: ചോദ്യത്തിന്റെ embedding-ന് ഏറ്റവും അടുത്തുള്ള chunk-കൾ എടുക്കുക — ഉദാഹരണത്തിന് ആദ്യത്തെ അഞ്ച്.
- പ്രോംപ്റ്റ് നിർമ്മിക്കുക: നിർദ്ദേശങ്ങൾ, കണ്ടെടുത്ത chunk-കൾ, ചോദ്യം.
- Generate ചെയ്യുക: ആ chunk-കളെ അടിസ്ഥാനമാക്കി ഭാഷാ മോഡൽ ഉത്തരം എഴുതുന്നു, അനുയോജ്യമായി ഏതൊക്കെ chunk-കൾ ഉപയോഗിച്ചു എന്ന് ഉദ്ധരിച്ചുകൊണ്ട്.
അർത്ഥത്തിന്റെ അടിസ്ഥാനത്തിൽ തിരയുന്നതാണ് ഇത് പ്രവർത്തിപ്പിക്കുന്നത്: "എന്റെ പണം തിരികെ കിട്ടുന്നത്" എന്ന ചോദ്യത്തിന് ഒരേ വാക്കുകൾ പങ്കിടാതെയും "റീഫണ്ട് നയം" എന്ന തലക്കെട്ടുള്ള chunk കണ്ടെത്താനാകും.
ഒരു പ്രവർത്തന ഉദാഹരണം: ഒരു ജിമ്മിന്റെ സഹായ അസിസ്റ്റന്റ്
ഒരു ജിമ്മിന് 40 സഹായ ലേഖനങ്ങളുണ്ട്, വെബ്‌സൈറ്റിൽ ഒരു ചാറ്റ് അസിസ്റ്റന്റ് വേണം എന്ന് കരുതുക. ഒരു അംഗം ചോദിക്കുന്നു: "യാത്ര ചെയ്യുമ്പോൾ എനിക്ക് എന്റെ മെമ്പർഷിപ്പ് താൽക്കാലികമായി നിർത്താനാകുമോ?"
ആപ്പ് ചോദ്യം embed ചെയ്ത് ഏറ്റവും അടുത്തുള്ള മൂന്ന് chunk-കൾ എടുക്കുന്നു. അതിലൊന്ന് ഇങ്ങനെ വായിക്കുന്നു:
മെമ്പർഷിപ്പ് ഫ്രീസ്: പ്രതിമാസ പ്ലാനിലുള്ള അംഗങ്ങൾക്ക് വർഷത്തിൽ പരമാവധി 2 മാസം
വരെ മെമ്പർഷിപ്പ് ഫ്രീസ് ചെയ്യാം. ഫ്രീസ് തുടങ്ങുന്നതിന് കുറഞ്ഞത് 7 ദിവസം മുമ്പ്
ഫ്രണ്ട് ഡെസ്കിലോ ആപ്പിലോ അപേക്ഷിക്കുക.
മോഡലിന് അയക്കുന്ന പ്രോംപ്റ്റ് ഇതുപോലെയാണ്:
നിങ്ങൾ Northside Gym-ന്റെ സഹായ അസിസ്റ്റന്റാണ്.
താഴെയുള്ള ഉറവിടങ്ങളിൽ നിന്ന് മാത്രം ഉത്തരം നൽകുക. അവയിൽ ഉത്തരം ഇല്ലെങ്കിൽ,
അറിയില്ലെന്ന് പറഞ്ഞ് ഫ്രണ്ട് ഡെസ്കുമായി ബന്ധപ്പെടാൻ നിർദ്ദേശിക്കുക.
ഏത് ഉറവിടം ഉപയോഗിച്ചു എന്ന് സൂചിപ്പിക്കുക.
[ഉറവിടം 1: മെമ്പർഷിപ്പ് ഫ്രീസ്] പ്രതിമാസ പ്ലാനിലുള്ള അംഗങ്ങൾക്ക് ഫ്രീസ് ചെയ്യാം...
[ഉറവിടം 2: മെമ്പർഷിപ്പ് റദ്ദാക്കൽ] ...
[ഉറവിടം 3: ഗസ്റ്റ് പാസുകൾ] ...
ചോദ്യം: യാത്ര ചെയ്യുമ്പോൾ എനിക്ക് എന്റെ മെമ്പർഷിപ്പ് താൽക്കാലികമായി നിർത്താനാകുമോ?
മോഡൽ ഉത്തരം നൽകുന്നു: "അതെ — പ്രതിമാസ പ്ലാനിൽ വർഷത്തിൽ രണ്ട് മാസം വരെ മെമ്പർഷിപ്പ് ഫ്രീസ് ചെയ്യാം. ഫ്രണ്ട് ഡെസ്കിലോ ആപ്പിലോ കുറഞ്ഞത് 7 ദിവസം മുമ്പ് അപേക്ഷിക്കുക (ഉറവിടം: മെമ്പർഷിപ്പ് ഫ്രീസ്)."
ജിം ഒന്നും വീണ്ടും പരിശീലിപ്പിച്ചിട്ടില്ല. ഫ്രീസ് നയം മാറ്റുമ്പോൾ, ലേഖനം അപ്‌ഡേറ്റ് ചെയ്യുന്നു, ആപ്പ് ആ chunk വീണ്ടും embed ചെയ്യുന്നു, അടുത്ത ഉത്തരം അത് പ്രതിഫലിപ്പിക്കുന്നു.
പ്രധാന പദങ്ങൾ
| പദം | അർത്ഥം |
|---|---|
| LLM | Large language model — ഉത്തരം എഴുതുന്ന AI. എന്താണ് LLM കാണുക. |
| Embedding | ഒരു വാചകത്തിന്റെ അർത്ഥം പ്രതിനിധീകരിക്കുന്ന സംഖ്യകളുടെ പട്ടിക. |
| Embedding model | embeddings ഉണ്ടാക്കുന്ന മോഡൽ. സാധാരണയായി chat മോഡലിൽ നിന്ന് വേറിട്ടതും വളരെ വിലകുറഞ്ഞതുമാണ്. |
| Chunk | ഒറ്റയ്ക്ക് retrieve ചെയ്യാൻ കഴിയുന്ന വലുപ്പത്തിലുള്ള ഡോക്യുമെന്റിന്റെ ഒരു ഭാഗം. |
| Vector database / vector search | സമാനമായ embeddings ഉള്ള ഇനങ്ങൾ കണ്ടെത്തുന്ന സംഭരണം. ചില സാധാരണ ഡേറ്റാബേസുകളും ഇത് നൽകുന്നു — ഉദാഹരണത്തിന് pgvector എക്സ്റ്റൻഷൻ വഴി Postgres. |
| Top-k | ഓരോ ചോദ്യത്തിനും എത്ര chunk-കൾ retrieve ചെയ്യുന്നു എന്നത്. |
| Hybrid search | അർത്ഥത്തെ അടിസ്ഥാനമാക്കിയുള്ള തിരയലും സാധാരണ കീവേഡ് തിരയലും ചേർക്കുന്നത്; പ്രോഡക്റ്റ് കോഡുകൾ പോലുള്ള കൃത്യമായ വാക്കുകൾക്ക് ഇത് സഹായിക്കുന്നു. |
| Context window | ഒരു അഭ്യർത്ഥനയിൽ മോഡലിന് സ്വീകരിക്കാൻ കഴിയുന്ന പരമാവധി വാചകം. |
| Grounding / citations | ഉത്തരത്തെ നിർദ്ദിഷ്ട retrieved ഉറവിടങ്ങളുമായി ബന്ധിപ്പിച്ച് അവ കാണിക്കുന്നത്. |
സാധാരണ തെറ്റിദ്ധാരണകൾ
- "RAG എന്റെ ഡാറ്റയിൽ മോഡലിനെ പരിശീലിപ്പിക്കുന്നു." അല്ല. മോഡലിൽ ഒന്നും മാറുന്നില്ല; ചോദ്യ സമയത്ത് അധിക വാചകം വായിക്കുക മാത്രമാണ്.
- "RAG എന്നാൽ hallucinations ഇനി ഇല്ല." കുറവ് എന്നാണ് അർത്ഥം. retrieval ശരിയായ chunk നഷ്ടപ്പെടുത്തിയാലോ ഉത്തരം ഡോക്യുമെന്റുകളിൽ ഇല്ലെങ്കിലോ മോഡൽ ഇപ്പോഴും ഊഹിച്ചേക്കാം. "എനിക്കറിയില്ല" എന്ന് പറയാൻ നിർദ്ദേശിക്കുകയും ഉത്തരം അറിയാവുന്ന ചോദ്യങ്ങൾ വെച്ച് പരീക്ഷിക്കുകയും ചെയ്യുക.
- "എനിക്ക് ഒരു പ്രത്യേക vector database വേണം." പലപ്പോഴും വേണ്ട. ചെറിയ അളവിലുള്ള ഡാറ്റയ്ക്ക്, നിങ്ങളുടെ പക്കലുള്ള ഡേറ്റാബേസിലെ vector എക്സ്റ്റൻഷനോ ലളിതമായ കീവേഡ് തിരയലോ പോലും മതിയാകും.
- "വലിയ chunk-കൾ നല്ലത്." വലുതായാൽ അപ്രസക്തമായ വാചകം ധാരാളം അയക്കേണ്ടിവരും (കൂടുതൽ ചെലവ്, കൂടുതൽ ആശയക്കുഴപ്പം); ചെറുതായാൽ അതിനെ അർത്ഥപൂർണ്ണമാക്കിയ സന്ദർഭം നഷ്ടപ്പെടും. ക്രമീകരിക്കേണ്ടി വരും.
- "എല്ലാം അപ്‌ലോഡ് ചെയ്യുക." കാലഹരണപ്പെട്ടതോ ആവർത്തിച്ചതോ പരസ്പരവിരുദ്ധമായതോ ആയ ഡോക്യുമെന്റുകൾ പരസ്പരവിരുദ്ധമായ ഉത്തരങ്ങൾ നൽകും. ഉറവിട വസ്തുക്കൾ വൃത്തിയാക്കുന്നതാണ് പലപ്പോഴും നിങ്ങൾക്ക് വരുത്താവുന്ന ഏറ്റവും വലിയ മെച്ചപ്പെടുത്തൽ.
- "ആർക്കും ഏത് ഡോക്യുമെന്റും കാണാം." നിങ്ങൾ അങ്ങനെ നിർമ്മിച്ചാൽ മാത്രം. ചില ഡോക്യുമെന്റുകൾ ചില ഉപയോക്താക്കൾക്ക് മാത്രം സ്വകാര്യമാണെങ്കിൽ, ചോദിക്കുന്നത് ആരാണെന്ന് അടിസ്ഥാനമാക്കി തിരയൽ തന്നെ ഫിൽട്ടർ ചെയ്യണം — അല്ലെങ്കിൽ അസിസ്റ്റന്റ് ഒരു ഉപഭോക്താവിന്റെ ഡാറ്റ മറ്റൊരാൾക്ക് ഉദ്ധരിച്ചേക്കാം.
ചെലവ്
ഒരു RAG ഫീച്ചറിന് സാധാരണയായി മൂന്ന് തുടർച്ചയായ ചെലവുകളുണ്ട്: ഡോക്യുമെന്റുകൾ embed ചെയ്യൽ (ചെറുത്, കൂടുതലും ഒറ്റത്തവണ), ഓരോ ചോദ്യവും embed ചെയ്യൽ (വളരെ ചെറുത്), ഭാഷാ മോഡൽ കോൾ (പ്രധാന ചെലവ്, അയക്കുന്ന chunk-കളുടെ എണ്ണത്തിനനുസരിച്ച് കൂടുന്നത്). ഇതിനൊപ്പം നിങ്ങളുടെ ഡേറ്റാബേസിലെ സംഭരണവും. നിങ്ങളുടെ AI ദാതാവ് ഇവ നിങ്ങളുടെ സ്വന്തം അക്കൗണ്ടിലേക്ക് ബിൽ ചെയ്യുന്നു, അതുകൊണ്ട് അവിടെ ഒരു ചെലവ് പരിധി സജ്ജമാക്കുക.
നിങ്ങളുടെ AI ബിൽഡറോട് എന്ത് ചോദിക്കണം
- "RAG നിർമ്മിക്കുന്നതിന് മുമ്പ് പരിശോധിക്കൂ: നമ്മുടെ ഉള്ളടക്കം പ്രോംപ്റ്റിൽ നേരിട്ട് ഉൾപ്പെടുത്താൻ മാത്രം ചെറുതാണോ?"
- "സഹായ ലേഖനങ്ങളെ ഏതാനും ഖണ്ഡികകളുടെ chunk-കളാക്കി വിഭജിക്കൂ, ഓരോ chunk-ന്റെയും തലക്കെട്ടും ഉറവിട ലിങ്കും നിലനിർത്തൂ, embeddings നമ്മുടെ ഡേറ്റാബേസിൽ സൂക്ഷിക്കൂ."
- "Hybrid search ഉപയോഗിക്കൂ — അർത്ഥാധിഷ്ഠിതവും കീവേഡും ചേർന്നത് — അതുവഴി പ്രോഡക്റ്റ് കോഡുകളും പൊരുത്തപ്പെടും."
- "retrieve ചെയ്ത ഉറവിടങ്ങളിൽ നിന്ന് മാത്രം ഉത്തരം നൽകാനും അറിയില്ലെങ്കിൽ അത് പറയാനും ഓരോ ഉത്തരത്തിനും താഴെ ഉറവിടങ്ങൾ കാണിക്കാനും മോഡലിനോട് പറയൂ."
- "ചോദിക്കുന്ന ഉപയോക്താവിന് കാണാൻ അനുമതിയുള്ള ഡോക്യുമെന്റുകൾ മാത്രം തിരയൂ."
- "ഒരു ഡോക്യുമെന്റ് എഡിറ്റ് ചെയ്യുമ്പോഴെല്ലാം അത് സ്വയമേവ വീണ്ടും embed ചെയ്യൂ."
- "AI ദാതാവിന്റെ കീ സെർവറിൽ ഒരു സീക്രട്ടായി സൂക്ഷിക്കൂ, ഒരിക്കലും ബ്രൗസറിൽ വേണ്ട."
- "ഓരോ ചോദ്യം, retrieve ചെയ്ത chunk-കൾ, ഉത്തരം എന്നിവ രേഖപ്പെടുത്തൂ, മോശം ഉത്തരങ്ങൾ പരിശോധിക്കാൻ."
Mythex-ൽ RAG
Mythex-ൽ തയ്യാറായ ഒരു knowledge-base അല്ലെങ്കിൽ RAG ഉൽപ്പന്നം ഇല്ല. ചെയ്യുന്നത് നിങ്ങളുടെ ആപ്പിനുള്ളിൽ അതിനുള്ള കോഡ് എഴുതുകയാണ്: നിങ്ങൾ ഡോക്യുമെന്റുകളും, പ്രോജക്റ്റ് സീക്രട്ട് ആയി സൂക്ഷിക്കുന്ന സ്വന്തം AI ദാതാവിന്റെ കീയും കൊണ്ടുവരുന്നു, സംഭരണത്തിനായി പ്രോജക്റ്റിന്റെ Postgres ഡേറ്റാബേസ് ഉപയോഗിച്ച് ഏജന്റ് retrieval, chat ഭാഗങ്ങൾ നിർമ്മിക്കുന്നു. ദാതാവിന്റെ ഉപയോഗം Mythex ക്രെഡിറ്റുകളല്ല, നിങ്ങളുടെ ദാതാവിന്റെ അക്കൗണ്ടിലേക്കാണ് ബിൽ ചെയ്യുന്നത്. ഒരു ലളിതമായ AI ഫീച്ചറിൽ തുടങ്ങി, അത് പ്രവർത്തിച്ചു കഴിഞ്ഞ് RAG ചേർക്കാൻ ഡോക്സ് നിർദ്ദേശിക്കുന്നു — AI ആപ്പ് നിർമ്മിക്കൽ കാണുക, കൂടാതെ AI ചാറ്റ്‌ബോട്ട് ആപ്പ് നിർമ്മിക്കുന്നത്, ആപ്പിൽ AI ഫീച്ചറുകൾ ചേർക്കുന്നത് എന്നീ ഞങ്ങളുടെ ഗൈഡുകളും.
ചോദ്യങ്ങൾ
ലളിതമായി പറഞ്ഞാൽ എന്താണ് RAG?
RAG (retrieval-augmented generation) എന്നത് AI മോഡലിനെ നിങ്ങളുടെ സ്വന്തം വിവരങ്ങളിൽ നിന്ന് ഉത്തരം നൽകാൻ പ്രാപ്തമാക്കുന്ന രീതിയാണ്. മോഡൽ മറുപടി നൽകുന്നതിന് മുമ്പ്, നിങ്ങളുടെ ആപ്പ് ചോദ്യത്തിന് ഏറ്റവും പ്രസക്തമായ ഭാഗങ്ങൾ നിങ്ങളുടെ ഡോക്യുമെന്റുകളിൽ തിരയുകയും അവ പ്രോംപ്റ്റിൽ ഉൾപ്പെടുത്തുകയും ചെയ്യുന്നു. അങ്ങനെ പരിശീലന സമയത്ത് മോഡൽ പഠിച്ചതിനെ മാത്രം ആശ്രയിക്കാതെ ആ വാചകത്തിന്റെ അടിസ്ഥാനത്തിലാണ് ഉത്തരം.
RAG എന്റെ ഡാറ്റയിൽ AI-യെ പരിശീലിപ്പിക്കുമോ?
ഇല്ല. RAG മോഡലിനെ ഒട്ടും മാറ്റുന്നില്ല. ചോദ്യം ചോദിക്കുന്ന നിമിഷത്തിൽ പ്രസക്തമായ വാചകം തിരഞ്ഞ് ചോദ്യത്തോടൊപ്പം മോഡലിന് നൽകുകയാണ് ചെയ്യുന്നത്. ഒരു ഡോക്യുമെന്റ് മാറ്റിയാൽ അടുത്ത ഉത്തരത്തിൽ തന്നെ പുതിയ പതിപ്പ് ഉപയോഗിക്കാനാകും.
RAG എന്നാൽ fine-tuning തന്നെയാണോ?
അല്ല. Fine-tuning ഉദാഹരണങ്ങളിൽ കൂടുതൽ പരിശീലനം നൽകി മോഡലിന്റെ പെരുമാറ്റം മാറ്റുന്നു; ഇത് വേഗത കുറഞ്ഞതും ശൈലിക്കോ ഫോർമാറ്റിനോ നല്ലതുമാണ്. RAG ചോദ്യ സമയത്ത് വായിക്കാൻ വസ്തുതകൾ നൽകുന്നു; മാറുന്ന വിവരങ്ങൾക്കോ കൃത്യമായി ഉദ്ധരിക്കേണ്ട അറിവിനോ ഇത് മികച്ചതാണ്.
RAG AI hallucinations തടയുമോ?
കുറയ്ക്കും, പക്ഷേ പൂർണ്ണമായി ഇല്ലാതാക്കില്ല. തിരയൽ തെറ്റായ ഭാഗങ്ങൾ കണ്ടെത്തിയാലോ ഉത്തരം നിങ്ങളുടെ ഡോക്യുമെന്റുകളിൽ ഇല്ലെങ്കിലോ മോഡൽ ഊഹിച്ചേക്കാം. നല്ല RAG ആപ്പുകൾ അറിയില്ലെങ്കിൽ അത് പറയാൻ മോഡലിനോട് ആവശ്യപ്പെടുകയും ഉപയോഗിച്ച ഉറവിടങ്ങൾ കാണിക്കുകയും ചെയ്യുന്നു.