RAG ဆိုတာ ဘာလဲ။ Retrieval-Augmented Generation ကို ရိုးရှင်းစွာ ရှင်းပြချက်

RAG (retrieval-augmented generation) ဆိုသည်မှာ AI model က သင့်ကိုယ်ပိုင်အချက်အလက်ဖြင့် မေးခွန်းများကို ဖြေစေသော နည်းလမ်းဖြစ်သည်။ မေးခွန်းတစ်ခု ရောက်လာသောအခါ သင့်အက်ပ်သည် ပထမဦးစွာ စာရွက်စာတမ်းများထဲမှ အသင့်တော်ဆုံး စာပိုဒ်များကို ရှာသည်။ ထို့နောက် ထိုစာပိုဒ်များကို မေးခွန်းနှင့်အတူ model သို့ ပေးပို့သည်။ Model သည် training အတွင်း တစ်ခါတစ်ရံ သင်ယူခဲ့သည်များတစ်ခုတည်းကို အားမထားဘဲ ထိုစာသားမှ အဖြေကို ရေးသည်။

AI ဖြင့် တည်ဆောက်သည့်အခါ RAG ဘာကြောင့် အရေးကြီးသလဲ

Large language model သည် ကမ္ဘာအကြောင်း ကျယ်ကျယ်ပြန့်ပြန့် သိသော်လည်း သင့်လုပ်ငန်းအကြောင်း ဘာမျှမသိပါ — သင့်စျေးနှုန်း၊ မူဝါဒ၊ ကုန်ပစ္စည်းလက်စွဲ၊ ပြီးခဲ့သော support ticket များ။ training cutoff ရှိသောကြောင့် မကြာသေးမီက အရာများကိုလည်း မသိပါ။ မေးလိုက်လျှင် ယုံကြည်စရာကောင်းသော်လည်း မှားနေသည့် အဖြေကို ပေးနိုင်သည်။

ထိုပြဿနာကို ဖြေရှင်းရန် ရွေးချယ်စရာ သုံးမျိုး ရှိသည်:

Model အသစ်များသည် ရှည်လျားသော prompt ကို လက်ခံနိုင်သဖြင့် FAQ တိုတိုအတွက် ပထမနည်းလမ်းက မကြာခဏ အဆင်ပြေသည်။ RAG သည် စာသားကို အမြဲတမ်း ပို့ရန် အလွန်များလာသောအခါ အသုံးဝင်လာသည် — အကြောင်းမှာ သင်ပို့သော စာလုံးတိုင်းသည် ငွေနှင့် အချိန် ကုန်ကျစေသည် (LLM API များ ကိုယ်ကျပုံ ကို ကြည့်ပါ)။

"စာရွက်စာတမ်းများအကြောင်း မေးနိုင်သော" feature၊ support အကူအညီပေးသူ သို့မဟုတ် အတွင်းပိုင်ဗဟုသုတ ကိရိယာ တစ်ခုကို တည်ဆောက်နေလျှင် RAG ၏ ပုံစံတစ်မျိုးကို တည်ဆောက်နေဖြစ်ရန် များစွာ ဖြစ်နိုင်သည်။

နေ့စဉ်ဘဝမှ ဥပမာ

ဖွင့်ထားသော စာအုပ်ဖြင့် စာမေးပွဲကို စဉ်းစားကြည့်ပါ။ မှတ်ဉာဏ်မှ ဖြေရသော ကျောင်းသားသည် မှားနိုင်ပြီး ဖုံးကွယ်နိုင်သည်။ သက်ဆိုင်ရာ စာမျက်နှာများကို အရင်လှန်ဖတ်ပြီးမှ ဖြေခွင့်ရသော ကျောင်းသားသည် ပိုယုံကြည်ရသည် — သူသည် မှန်ကန်သော စာမျက်နှာများကို တွေ့နိုင်လျှင်သာ။

• ကျောင်းသား သည် language model ဖြစ်သည်။
• စာအုပ် သည် သင့်စာရွက်စာတမ်းများ ဖြစ်သည်။
• မှန်ကန်သော စာမျက်နှာများကို လှန်ခြင်း သည် retrieval ဖြစ်သည်။
• ထိုစာမျက်နှာများမှ အဖြေရေးခြင်း သည် generation ဖြစ်သည်။

RAG သည် ဖွင့်ထားသော စာအုပ်ဖြင့် ဖြေသည့်ပုံစံ ဖြစ်သည်။ စာမေးပွဲတွင်လိုပင် အဖြေ၏ အရည်အသွေးသည် မှန်ကန်သော စာမျက်နှာများကို တွေ့နိုင်မှုပေါ် များစွာ မူတည်သည်။

RAG အလုပ်လုပ်ပုံ အဆင့်ဆင့်

RAG တစ်ခုတွင် အဆင့်နှစ်ဆင့် ရှိသည်။

သင့်စာရွက်စာတမ်းများ ပြင်ဆင်ခြင်း (ကြိုတင်ပြုလုပ်သည်):

1. စုဆောင်းခြင်း — ရင်းမြစ်အချက်အလက်များ၊ help article များ၊ PDF များ၊ မူဝါဒများ၊ ကုန်ပစ္စည်းဒေတာ။
2. Chunk ခွဲခြင်း — ရှည်လျားသော စာရွက်စာတမ်းများကို စာပိုဒ်အနည်းငယ်စီပါသော အပိုင်းငယ်များအဖြစ် ခွဲသည်။ ထို့ကြောင့် ရှာဖွေမှုက သက်ဆိုင်သော အပိုင်းကိုသာ ပြန်ပေးနိုင်သည်။
3. Embed လုပ်ခြင်း — chunk တစ်ခုစီကို embedding model သို့ ပို့ပြီး embedding ကို ရယူသည်။ Embedding ဆိုသည်မှာ စာသား၏ အဓိပ္ပာယ်ကို ဖမ်းယူထားသော ဂဏန်းစာရင်း ရှည်ရှည်တစ်ခု ဖြစ်သည်။ အလားတူ အကြောင်းအရာများ ဆိုင်ရာ စာသားများသည် အလားတူ ဂဏန်းများ ရရှိသည်။
4. သိမ်းဆည်းခြင်း — chunk များနှင့် embedding များကို အဓိပ္ပာယ်တူညီမှုဖြင့် ရှာနိုင်သော database တွင် သိမ်းသည် (vector database သို့မဟုတ် vector index ဟု အများအားဖြင့် ခေါ်သည်)။

မေးခွန်းတစ်ခုကို ဖြေခြင်း (အမြဲလုပ်ရသည်):

1. မေးခွန်းကို embed လုပ်ခြင်း — တူညီသော embedding model ဖြင့်။
2. Retrieve လုပ်ခြင်း — မေးခွန်း၏ embedding နှင့် အနီးဆုံးဖြစ်သော chunk များကို ရွေးသည် — ဥပမာ အထက်ဆုံး ငါးခု။
3. Prompt တည်ဆောက်ခြင်း — ညွှန်ကြားချက်များ၊ ရလာသော chunk များနှင့် မေးခွန်း။
4. Generate လုပ်ခြင်း — language model က ထို chunk များအပေါ် အခြေခံ၍ အဖြေကို ရေးသည်၊ အထူးသဖြင့် မည်သည့် chunk ကို အသုံးပြုသလဲ ကိုးကားပြီး။

အဓိပ္ပာယ်ဖြင့် ရှာခြင်းက ဤအလုပ်ကို ဖြစ်စေသည်။ "ငွေပြန်အမ်းခြင်း" အကြောင်း မေးခွန်းသည် စကားလုံးတစ်လုံးမျှ မတူသော်လည်း "Refund policy" ဟု ခေါင်းစဉ်ရှိသော chunk ကို တွေ့နိုင်သည်။

လက်တွေ့ ဥပမာ — ဂျင်မ်တစ်ခု၏ အကူအညီပေးသူ

ဂျင်မ်တစ်ခုတွင် help article ၄၀ ရှိပြီး ၎င်း၏ website တွင် chat အကူအညီပေးသူ ထည့်လိုသည် ဆိုပါစို့။ အသင်းဝင်တစ်ဦးက မေးသည်: "ခရီးသွားနေစဉ် ကျွန်ုပ်၏ အသင်းဝင်ဝင်ခွင့်ကို ရပ်နိုင်ပါသလား။"

အက်ပ်က မေးခွန်းကို embed လုပ်ပြီး အနီးဆုံး chunk သုံးခုကို ရှာသည်။ တစ်ခုက ဤသို့ ဖတ်ရသည်:

Membership freeze: Members on monthly plans can freeze their
membership for up to 2 months per year. Request it at the front
desk or in the app at least 7 days before the freeze starts.

ထို့နောက် model သို့ ပို့သော prompt သည် ဤသို့ ပုံစံရှိသည်:

You are the help assistant for Northside Gym.
Answer only from the sources below. If the answer isn't in them,
say you don't know and suggest contacting the front desk.
Mention which source you used.

[Source 1: Membership freeze] Members on monthly plans can freeze...
[Source 2: Cancelling your membership] ...
[Source 3: Guest passes] ...

Question: Can I pause my membership while I'm travelling?

Model က ဖြေသည်: "ဟုတ်ကဲ့ — လစဉ်အစီအစဉ်တွင် တစ်နှစ်လျှင် လနှစ်လအထိ အသင်းဝင်ဝင်ခွင့်ကို ရပ်နိုင်ပါသည်။ ရပ်ချင်သည့်ရက်မတိုင်မီ အနည်းဆုံး ၇ ရက်အလိုတွင် front desk သို့မဟုတ် app တွင် တောင်းဆိုပါ (ရင်းမြစ်: Membership freeze)။"

ဂျင်မ်သည် တစ်ခုမှ ပြန်လည် လေ့ကျင့်ခြင်း မပြုခဲ့ပါ။ Freeze မူဝါဒကို ပြင်သောအခါ article ကို ပြင်ပြီး app က ထို chunk ကို ပြန် embed လုပ်ကာ နောက်အဖြေက ပြောင်းလဲချက်ကို ထင်ဟပ်စေသည်။

အဓိက ဝေါဟာရများ

အများဆုံး ဖြစ်တတ်သော အယူအဆမှားများ

• "RAG က model ကို ကျွန်ုပ်၏ဒေတာဖြင့် လေ့ကျင့်သည်။" မဟုတ်ပါ။ Model ဘာမျှ မပြောင်းပါ။ မေးခွန်းမေးချိန်တွင် စာသားထပ်ဖတ်ရုံသာ ဖြစ်သည်။
• "RAG ဆိုလျှင် hallucination မရှိတော့ဘူး။" လျော့သွားသည်ဟု ဆိုလိုသည်၊ မပျောက်ပါ။ ရှာဖွေမှုက မှန်ကန်သော chunk ကို လွဲလိုက်လျှင် သို့မဟုတ် အဖြေက စာရွက်စာတမ်းထဲ မရှိလျှင် model က ဆက်ခန့်မှန်းနိုင်သည်။ "မသိပါ" ဟု ဖြေရန် ညွှန်ကြားပြီး သင်အဖြေသိသော မေးခွန်းများဖြင့် စမ်းသပ်ပါ။
• "Vector database အထူးတစ်ခု လိုတယ်။" မလိုတတ်ပါ။ ဒေတာ အနည်းငယ်အတွက် သင့်တွင်ရှိပြီးသား database ပေါ်ရှိ vector extension၊ သို့မဟုတ် ရိုးရိုး keyword ရှာဖွေမှုပင် လုံလောက်နိုင်သည်။
• "Chunk ကြီးကြီးက ပိုကောင်းတယ်။" ကြီးလွန်းလျှင် မသက်ဆိုင်သော စာသား အများအပြား ပို့ရပြီး (ငွေပိုကုန်၊ ရှုပ်ထွေးမှုပိုများ)၊ သေးလွန်းလျှင် chunk က အဓိပ္ပာယ်ရှိစေသော context ကို ဆုံးရှုံးသည်။ ချိန်ညှိရန် လိုသည်။
• "အားလုံး upload လုပ်ပါ။" ရက်လွန်သော၊ ထပ်နေသော သို့မဟုတ် ဆန့်ကျင်နေသော စာရွက်စာတမ်းများက ဆန့်ကျင်သော အဖြေများကို ထုတ်ပေးသည်။ ရင်းမြစ်အချက်အလက်ကို သန့်စင်ခြင်းသည် မကြာခဏ အကောင်းဆုံး တိုးတက်မှု ဖြစ်သည်။
• "ဘယ်သူမဆို စာရွက်စာတမ်းမှန်သမျှကို မြင်နိုင်တယ်။" သင်ထိုသို့ တည်ဆောက်ထားမှသာ ဖြစ်သည်။ စာရွက်စာတမ်းအချို့ သည် အချို့အသုံးပြုသူများအတွက်သာ ကိုယ်ပိုင်ဖြစ်လျှင် ရှာဖွေမှုကိုယ်တိုင်က မေးသူ ဘယ်သူလဲဆိုသည်ဖြင့် စစ်ထုတ်ရမည် — မဟုတ်ပါက assistant က customer တစ်ဦး၏ ဒေတာကို အခြားတစ်ဦးအား ကိုးကားနိုင်သည်။

ကုန်ကျစရိတ်

RAG feature တွင် ပုံမှန်အားဖြင့် ကုန်ကျစရိတ် သုံးမျိုး ရှိသည်: စာရွက်စာတမ်း embed လုပ်ခြင်း (သေးငယ်ပြီး အများအားဖြင့် တစ်ကြိမ်သာ)၊ မေးခွန်းတိုင်း embed လုပ်ခြင်း (အလွန်သေး)၊ နှင့် language model ခေါ်ဆိုမှု (အဓိကကုန်ကျစရိတ်၊ ပို့သော chunk အရေအတွက်နှင့်အမျှ တိုးသည်)။ အပြင် database တွင် သိုလှောင်မှု ကုန်ကျသည်။ AI provider သည် ဤအရာများကို သင့်ကိုယ်ပိုင်အကောင့်သို့ ငွေတောင်းသောကြောင့် ထို provider တွင် ကုန်ကျစရိတ်ကန့်သတ်ချက် သတ်မှတ်ပါ။

AI builder အား ဘာတောင်းရမလဲ

• "RAG မတည်ဆောက်မီ စစ်ပါ — ကျွန်ုပ်တို့၏ အကြောင်းအရာသည် prompt ထဲ တိုက်ရိုက်ထည့်ရလောက်အောင် သေးငယ်ပါသလား။"
• "Help article များကို စာပိုဒ်အနည်းငယ်စီ chunk ခွဲပါ၊ chunk တစ်ခုစီ၏ ခေါင်းစဉ်နှင့် ရင်းမြစ် link ကို ထားပါ၊ embedding များကို ကျွန်ုပ်တို့ database တွင် သိမ်းပါ။"
• "Hybrid search သုံးပါ — အဓိပ္ပာယ်ဖြင့် ရှာခြင်းနှင့် keyword ရှာခြင်း — ထို့ကြောင့် ကုန်ပစ္စည်းကုဒ်များ ကိုက်ညီသည်။"
• "Model အား ပြန်ရလာသော ရင်းမြစ်များမှသာ ဖြေစေပါ၊ မသိလျှင် ထိုသို့ ပြောစေပြီး အဖြေတိုင်းအောက်တွင် ရင်းမြစ်များ ပြပါ။"
• "Sign in ဝင်ထားသော အသုံးပြုသူ ကြည့်ခွင့်ရှိသော စာရွက်စာတမ်းများကိုသာ ရှာပါ။"
• "စာရွက်စာတမ်း ပြင်တိုင်း embedding ကို အလိုအလျောက် ပြန်လုပ်ပါ။"
• "AI provider key ကို server ပေါ်ရှိ secret တွင်သာ ထားပါ၊ browser တွင် မထားပါနှင့်။"
• "မေးခွန်းတိုင်း၊ ပြန်ရလာသော chunk များနှင့် အဖြေကို မှတ်တမ်းတင်ပါ၊ ထို့ကြောင့် မကောင်းသော အဖြေများကို ကျွန်ုပ် ပြန်စစ်နိုင်သည်။"

Mythex တွင် RAG

Mythex တွင် အဆင်သင့် knowledge-base သို့မဟုတ် RAG ထုတ်ကုန် မပါပါ။ သို့သော် သင့် app အတွင်း RAG အတွက် ကုဒ်ကို ရေးပေးသည်။ သင့်စာရွက်စာတမ်းများနှင့် သင့်ကိုယ်ပိုင် AI provider key ကို ယူလာပြီး ၎င်းကို project secret အဖြစ် သိမ်းသည်။ Agent က retrieval နှင့် chat အပိုင်းများကို တည်ဆောက်ပြီး သိုလှောင်ရန် ပရောဂျက်၏ Postgres database ကို အသုံးပြုသည်။ Provider အသုံးပြုမှုကို Mythex credit ဖြင့် မဟုတ်ဘဲ သင့် provider အကောင့်သို့ ငွေတောင်းသည်။ Docs က AI feature တစ်ခုရိုးရိုးဖြင့် စတင်ပြီး ထိုအရာ အလုပ်လုပ်ပြီးမှ RAG ထည့်ရန် အကြံပြုသည် — AI app တည်ဆောက်ခြင်း ကို ကြည့်ပါ၊ နှင့် ကျွန်ုပ်တို့၏ AI chatbot app တည်ဆောက်ခြင်း နှင့် app သို့ AI feature ထည့်ခြင်း လမ်းညွှန်များ။

မေးခွန်းများ