Ի՞նչ է RAG-ը։ Հիմնավորված սերունդը (Retrieval-Augmented Generation) պարզ բացատրությամբ
RAG-ը (retrieval-augmented generation) այն եղանակն է, որով AI մոդելը պատասխանում է հարցերին ձեր սեփական տեղեկատվության միջոցով։ Երբ որևէ մեկը հարց է տալիս, ձեր հավելվածը նախ որոնում է ձեր փաստաթղթերում ամենաառնչվող հատվածները, ապա այդ հատվածները հարցի հետ միասին հանձնում մոդելին։ Մոդելը գրում է իր պատասխանը այդ տեքստի հիման վրա, և ոչ միայն այն բանի վրա, ինչ պատահաբար սովորել է վերապատրաստման ընթացքում։
Ինչու է RAG-ը կարևոր AI-ով կառուցելիս
Մեծ լեզվական մոդելը լավ գիտի աշխարհի մասին ընդհանրապես, բայց ոչինչ չգիտի ձեր բիզնեսի մասին․ ձեր գները, քաղաքականությունները, արտադրանքի ձեռնարկը, անցյալ շաբաթվա աջակցության հայտերը։ Այն ունի նաև վերապատրաստման սահման, ուստի ոչինչ չգիտի վերջերս տեղի ունեցածի մասին։ Եթե այնուամենայնիվ հարցնեք, այն կարող է վստահ, հավանական, բայց սխալ պատասխան տալ։
Դրա շտկելու երեք հիմնական տարբերակ ունեք․
| Մոտեցում | Ինչ է անում | Հարմար է |
|---|---|---|
| Ամեն ինչ տեղադրել պրոմթում | Ուղարկել բոլոր փաստաթղթերը յուրաքանչյուր հարցի հետ | Տեքստի փոքր քանակ՝ մի քանի էջ |
| RAG | Փնտրել փաստաթղթերում և ուղարկել միայն համապատասխան մասերը | Մեծ կամ փոփոխվող հավաքածուներ՝ օգնության կենտրոններ, ձեռնարկներ, նշումներ |
| Fine-tuning | Մոդելը ավելի վերապատրաստել օրինակներով | Տոն, ձևաչափ և կրկնվող առաջադրանքներ, ոչ թե փոփոխվող փաստեր |
Ժամանակակից մոդելները ընդունում են երկար պրոմթներ, ուստի կարճ FAQ-ի համար առաջին տարբերակը հաճախ բավարար է։ RAG-ը արժեք ունի, երբ տեքստը ավելի շատ է, քան ցանկանում եք ամեն անգամ ուղարկել, քանի որ յուրաքանչյուր ուղարկված բառ արժե փող և ժամանակ (տե՛ս ինչպես են LLM API-ները գանձում)։
Եթե կառուցում եք «զրուցիր մեր փաստաթղթերի հետ» գործառույթ, աջակցության օգնական կամ ներքին գիտելիքի գործիք, գրեթե վստահ կարող եք ասել, որ կառուցում եք RAG-ի ինչ-որ տարբերակ։
Ամենօրյա անալոգիա
Պատկերացրեք բաց գրքով քննություն։ Ուսանողը, ով պետք է պատասխանի հիշողությունից, կարող է սխալվել կամ ձևացնել։ Ուսանողը, ով կարող է նախ թերթել ճիշտ էջերը, կարդալ դրանք և հետո պատասխանել, շատ ավելի հուսալի է՝ պայմանով, որ գտնի ճիշտ էջերը։
- Ուսանողը լեզվական մոդելն է։
- Դասագիրքը ձեր փաստաթղթերն են։
- Ճիշտ էջերը թերթելը որոնումն է (retrieval)։
- Պատասխանը այդ էջերից գրելը սերունդն է (generation)։
RAG-ը բաց գրքով տարբերակն է։ Եվ, ինչպես քննության մեջ, պատասխանի որակը մեծապես կախված է նրանից, թե արդյոք ճիշտ էջերը գտնվեցին։
Ինչպես է աշխատում RAG-ը քայլ առ քայլ
Տիպիկ RAG կարգավորումը երկու փուլ ունի։
Ձեր փաստաթղթերի պատրաստում (կատարվում է նախապես)․
- Հավաքել աղբյուրային նյութը՝ օգնության հոդվածներ, PDF-ներ, քաղաքականություններ, արտադրանքի տվյալներ։
- Կտրատել (chunk)՝ երկար փաստաթղթերը բաժանել ավելի փոքր մասերի, հաճախ մի քանի պարբերությամբ, որպեսզի որոնումը վերադարձնի միայն համապատասխան հատվածը։
- Embed անել յուրաքանչյուր հատված՝ ուղարկելով այն embedding մոդելին, որը տեքստը վերածում է embedding-ի՝ թվերի երկար ցանկի, որ արտահայտում է դրա իմաստը։ Նույն թեմայի մասին տեքստերն ունեն նման թվեր։
- Պահել հատվածները և դրանց embedding-ները տվյալների բազայում, որը կարող է որոնել ըստ նմանության (հաճախ կոչվում է վեկտորային բազա կամ վեկտորային ինդեքս)։
Հարցին պատասխանելը (կատարվում է ամեն անգամ)․
- Embed անել հարցը նույն embedding մոդելով։
- Վերցնել (retrieve) այն հատվածները, որոնց embedding-ները ամենամոտն են հարցի embedding-ին, օրինակ՝ առաջին հինգը։
- Կառուցել պրոմթը․ հրահանգները, վերցված հատվածները և հարցը։
- Գեներացնել․ լեզվական մոդելը գրում է պատասխանը այդ հատվածների հիման վրա, իդեալականորեն նշելով, թե որոնք է օգտագործել։
Իմաստով որոնելը սա դարձնում է աշխատող․ «փողս հետ ստանալու» մասին հարցը կարող է գտնել «Վերադարձի քաղաքականություն» վերնագրով հատված, թեև նրանք ընդհանուր բառ չունեն։
Օրինակ՝ մարզասրահի օգնական
Ենթադրենք, մարզասրահն ունի 40 օգնության հոդված և ուզում է չաթ օգնական իր կայքում։ Անդամը հարցնում է․ «Կարո՞ղ եմ դադարեցնել իմ աբոնեմենտը, երբ ճանապարհորդում եմ»։
Հավելվածը embed է անում հարցը և վերցնում երեք ամենամոտ հատվածները։ Դրանցից մեկը կարդում է․
Աբոնեմենտի սառեցում․ Ամսական պլաններով անդամները կարող են սառեցնել
իրենց աբոնեմենտը տարեկան մինչև 2 ամիս։ Խնդրեք սրահի ճաշարանում
կամ հավելվածում առնվազն 7 օր առաջ՝ սառեցումը սկսելուց առաջ։
Մոդելին ուղարկված պրոմթը մոտավորապես այսպիսի տեսք ունի․
Դու Northside Gym-ի օգնության օգնականն ես։
Պատասխանիր միայն ստորև բերված աղբյուրներից։ Եթե պատասխանը դրանցում չկա,
ասա, որ չգիտես, և առաջարկիր դիմել սրահի ճաշարան։
Նշիր, թե որ աղբյուրն ես օգտագործել։
[Աղբյուր 1: Աբոնեմենտի սառեցում] Ամսական պլաններով անդամները կարող են սառեցնել...
[Աղբյուր 2: Աբոնեմենտի չեղարկում] ...
[Աղբյուր 3: Հյուրերի անցագրեր] ...
Հարց: Կարո՞ղ եմ դադարեցնել իմ աբոնեմենտը, երբ ճանապարհորդում եմ։
Եվ մոդելը պատասխանում է․ «Այո՛ — ամսական պլանի դեպքում կարող եք սառեցնել աբոնեմենտը տարեկան մինչև երկու ամիս։ Խնդրեք սրահի ճաշարանում կամ հավելվածում առնվազն 7 օր առաջ (աղբյուր՝ Աբոնեմենտի սառեցում)։»
Սրահը ոչինչ չի վերապատրաստել։ Երբ փոխում է սառեցման քաղաքականությունը, թարմացնում է հոդվածը, հավելվածը նորից embed է անում այդ հատվածը, և հաջորդ պատասխանը արտացոլում է այն։
Բանալի տերմիններ
| Տերմին | Նշանակություն |
|---|---|
| LLM | Մեծ լեզվական մոդել՝ AI-ը, որ գրում է պատասխանը։ Տե՛ս ինչ է LLM-ը։ |
| Embedding | Թվերի ցանկ, որ ներկայացնում է տեքստի կտորի իմաստը։ |
| Embedding մոդել | Մոդել, որը արտադրում է embedding-ներ։ Սովորաբար առանձին է և շատ ավելի էժան, քան զրույցի մոդելը։ |
| Chunk | Փաստաթղթի կտոր, չափած այնպես, որ կարողանա առանձին վերցվել։ |
| Վեկտորային բազա / վեկտորային որոնում | Պահոց, որը գտնում է նման embedding-ներ ունեցող տարրեր։ Որոշ սովորական բազաներ նույնպես առաջարկում են այն, օրինակ՝ Postgres-ը pgvector ընդլայնման միջոցով։ |
| Top-k | Քանի հատված է վերցվում յուրաքանչյուր հարցի համար։ |
| Հիբրիդային որոնում | Իմաստով որոնման և սովորական բանալի բառերով որոնման համադրում, որ օգնում է ճշգրիտ տերմիններին, օրինակ՝ ապրանքի կոդերին։ |
| Համատեքստի պատուհան | Տեքստի առավելագույն քանակ, որ մոդելը կարող է ընդունել մեկ հարցումով։ |
| Հիմնավորում / մեջբերումներ | Պատասխանը կապել կոնկրետ վերցված աղբյուրների հետ և ցույց տալ դրանք։ |
Տարածված թյուրըմբռնումներ
- «RAG-ը վերապատրաստում է մոդելը իմ տվյալների վրա»։ Ոչ։ Մոդելը ոչ մի բանով չի փոխվում․ այն պարզապես հարցի պահին կարդում է լրացուցիչ տեքստ։
- «RAG-ը նշանակում է այլևս հալյուցինացիաներ չկան»։ Նշանակում է ավելի քիչ։ Եթե վերցնելը բաց է թողնում ճիշտ հատվածը կամ պատասխանը ձեր փաստաթղթերում չկա, մոդելը դեռ կարող է ենթադրել։ Հանձնարարեք նրան ասել «չգիտեմ» և փորձարկեք այնպիսի հարցերով, որոնց պատասխանները գիտեք։
- «Ինձ հատուկ վեկտորային բազա է պետք»։ Հաճախ ոչ։ Տվյալների փոքր քանակի դեպքում արդեն ունեցած բազայի վեկտորային ընդլայնումը կամ նույնիսկ սովորական բանալի բառերով որոնումը կարող է բավարար լինել։
- «Ավելի մեծ chunk-երը ավելի լավ են»։ Չափազանց մեծ լինելու դեպքում ուղարկում եք շատ անհամապատասխան տեքստ (ավելի մեծ ծախս, ավելի շատ շփոթություն), իսկ չափազանց փոքր լինելու դեպքում հատվածը կորցնում է այն համատեքստը, որ այն իմաստալից էր դարձնում։ Պատրաստ եղեք կարգավորելու։
- «Պարզապես վերբեռնեք ամեն ինչ»։ Հնացած, կրկնվող կամ հակասող փաստաթղթերը հակասող պատասխաններ են տալիս։ Աղբյուրային նյութի մաքրումը հաճախ ամենամեծ բարելավումն է, որ կարող եք անել։
- «Ցանկացած մարդ կարող է տեսնել ցանկացած փաստաթուղթ»։ Միայն եթե այդպես եք կառուցել։ Եթե որոշ փաստաթղթեր մասնավոր են որոշ օգտատերերի համար, ինքը որոնումը պետք է զտի՝ ըստ հարցողի, հակառակ դեպքում օգնականը կարող է մեկ հաճախորդի տվյալները մեջբերել մյուսին։
Ինչ արժե
RAG գործառույթն սովորաբար ունի երեք շարունակական ծախս․ ձեր փաստաթղթերի embedding-ը (փոքր է և հիմնականում մեկանգամյա), յուրաքանչյուր հարցի embedding-ը (շատ փոքր) և լեզվական մոդելի կանչը (հիմնական ծախսը, որ աճում է՝ կախված ուղարկված հատվածների քանակից)։ Դրան ավելանում է պահեստը ձեր տվյալների բազայում։ AI մատակարարը այս ծախսերը գանձում է ձեր հաշվից, ուստի այնտեղ սահմանեք ծախսերի սահման։
Ինչ հարցնել ձեր AI կառուցողից
- «Նախքան RAG կառուցելը ստուգիր՝ արդյոք մեր բովանդակությունը բավական փոքր է, որ պարզապես ներառվի պրոմթում։»
- «Բաժանիր օգնության հոդվածները մի քանի պարբերությունից բաղկացած chunk-երի, պահիր յուրաքանչյուր chunk-ի վերնագիրը և աղբյուրի հղումը, և պահիր embedding-ները մեր բազայում։»
- «Օգտագործիր հիբրիդային որոնում՝ իմաստով և բանալի բառերով, որպեսզի ապրանքի կոդերը դեռ համապատասխանեն։»
- «Ասա մոդելին պատասխանել միայն վերցված աղբյուրներից, ասել, երբ չգիտի, և ցույց տալ աղբյուրները յուրաքանչյուր պատասխանի տակ։»
- «Որոնիր միայն այն փաստաթղթերը, որ մուտք գործած օգտատերը թույլատրված է տեսնել։»
- «Ավտոմատ նորից embed արա փաստաթուղթը, երբ այն խմբագրվում է։»
- «Պահիր AI մատակարարի բանալին սերվերի վրա՝ որպես գաղտնիք, երբեք բրաուզերում։»
- «Գրանցիր յուրաքանչյուր հարց, վերցված հատվածները և պատասխանը, որ կարողանամ վերանայել վատ պատասխանները։»
RAG-ը Mythex-ում
Mythex-ը պատրաստի գիտելիքի բազա կամ RAG արտադրանք չի ներառում։ Այն գրում է դրա կոդը ձեր հավելվածի ներսում․ դուք բերում եք ձեր փաստաթղթերը և ձեր սեփական AI մատակարարի բանալին, որը պահվում է որպես նախագծի գաղտնիք, իսկ գործակալը կառուցում է վերցնելու և զրույցի մասերը՝ օգտագործելով նախագծի Postgres տվյալների բազան պահեստավորման համար։ Մատակարարի օգտագործումը գանձվում է ձեր մատակարարի հաշվից, ոչ թե Mythex-ի վարկերով։ Փաստաթղթերը խորհուրդ են տալիս սկսել մեկ պարզ AI գործառույթով և ավելացնել RAG-ը, երբ այն աշխատի՝ տե՛ս AI հավելված կառուցելը, և մեր ուղեցույցները AI չաթբոտ հավելված կառուցելու և AI գործառույթներ ավելացնելու մասին։
Հարցեր
Ի՞նչ է RAG-ը պարզ ասած
RAG-ը (retrieval-augmented generation) այն եղանակն է, որով AI մոդելը պատասխանում է ձեր սեփական տեղեկատվությունից։ Մինչ մոդելը պատասխանելը, ձեր հավելվածը որոնում է փաստաթղթերում հարցին ամենաառնչվող հատվածները և դրանք ներառում պրոմթի մեջ, այնպես որ պատասխանը հիմնված է այդ տեքստի վրա, և ոչ միայն այն բանի, ինչ մոդելը սովորել է վերապատրաստման ժամանակ։
Արդյո՞ք RAG-ը վերապատրաստում է AI-ն իմ տվյալների վրա
Ոչ։ RAG-ը ընդհանրապես չի փոխում մոդելը։ Այն հարցի տրման պահին փնտրում է համապատասխան տեքստը և այն հարցի հետ միասին փոխանցում մոդելին։ Փաստաթուղթը թարմացնելուց հետո հաջորդ պատասխանը կարող է անմիջապես օգտագործել նոր տարբերակը։
Արդյո՞ք RAG-ը նույնն է, ինչ fine-tuning-ը
Ոչ։ Fine-tuning-ը փոխում է մոդելի վարքը՝ նրան օրինակների վրա ավելի վերապատրաստելով։ Դա ավելի դանդաղ է և ավելի հարմար ոճի կամ ձևաչափի համար։ RAG-ը մոդելին տալիս է փաստեր, որոնք կարդում է հարցի պահին, և դա ավելի հարմար է փոփոխվող գիտելիքների կամ ճշգրիտ մեջբերման համար։
Արդյո՞ք RAG-ը դադարեցնում է AI-ի հալյուցինացիաները
Այն նվազեցնում է դրանք, բայց ամբողջությամբ չի վերացնում։ Եթե որոնումը գտնում է սխալ հատվածներ կամ պատասխանը չկա ձեր փաստաթղթերում, մոդելը դեռ կարող է ենթադրել։ Լավ RAG հավելվածները ասում են մոդելին, որ պետք է հայտնի, երբ չգիտի, և ցույց են տալիս աղբյուրները, որոնք օգտագործել են։