Ի՞նչ է LLM-ը։ Մեծ լեզվական մոդելները պարզ բացատրությամբ

LLM-ը, կամ մեծ լեզվական մոդելը (large language model), AI-ի տեսակ է, որը վարժեցված է հսկայական քանակությամբ տեքստի վրա, որպեսզի կարողանա հասկանալ և գեներացնել լեզու։ Տրված տեքստից այն կանխատեսում է, թե ինչ պետք է գա հաջորդը, մեկ փոքր մասով անգամ, և այս պարզ կարողությունը բավարար է գտնվում՝ հարցերին պատասխանելու, գրելու, ամփոփելու, թարգմանելու և կոդ գրելու համար։ ChatGPT-ի, Claude-ի և Gemini-ի հիմքում ընկած մոդելները բոլորը LLM-ներ են։

Ինչու է այն կարևոր AI-ով կառուցելիս

Եթե AI app builder-ով եք կառուցում, դուք կապ ունեք LLM-ի հետ երկու անգամ։ Առաջինը՝ LLM-ն է կառուցողը․ այն կարդում է ձեր հարցումը, պլանավորում փոփոխությունները և գրում կոդը։ Երկրորդը՝ ձեզ կարող է հարկավոր լինել LLM-ը ձեր հավելվածի ներսում՝ չաթբոթ, ամփոփման կոճակ, գրելու օգնական։

Հիմունքները իմանալը օգնում է երկու դեպքում էլ։ Այն բացատրում է, թե ինչու AI-ը երբեմն սխալ է հասկանում անորոշ հարցումը, ինչու կարող է վստահորեն արտադրել սխալ բան, ինչու երկար զրույցները կարող են ստիպել նրան կորցնել նախորդ մանրամասների հետքը, և ինչու AI գործառույթները հավելվածում արժեն գումար յուրաքանչյուր օգտագործման համար։ Մաթեմատիկա պետք չէ․ բավական է ճիշտ մտավոր մոդելը։

Ամենօրյա անալոգիա

Պատկերացրեք մեկին, ով կարդացել է անհավատալիորեն մեծ գրադարան՝ գրքեր, կայքեր, ձեռնարկներ, կոդ, ֆորումներ, և դարձել է զարմանալիորեն լավ՝ ցանկացած գրվածք այնպես շարունակելու համար, որ տեղավորվի։ Տվեք նրան նամակի սկիզբը, և նա կավարտի այն ձեր տոնով։ Հարցրեք, և նա կգրի այն տեսակի պատասխանը, որը սովորաբար հաջորդում է նման հարցին։

Բայց նա չունի նշումներ, որոնք կարող է ստուգել, և գրադարանը փակվել է որոշակի ամսաթվի։ Նա հիշում է օրինաչափություններ, ոչ թե փնտրում է բաներ։ Մեծ մասամբ օրինաչափությունները ճիշտ են։ Երբեմն նա բացը լցնում է մեկ բանով, որը միայն հնչում է ճիշտ, և նույն վստահությամբ։

Այսպիսին է LLM-ը․ շատ կարդացած, շատ սահուն գրող, անկատար հիշողությամբ և առանց ներկառուցված փաստերի ստուգիչի։

Ինչպես է աշխատում LLM-ը, պարզ ձևով

1. Վարժեցում։ Մոդելին ցույց են տալիս հսկայական քանակությամբ տեքստ և նա սովորում է՝ կարգավորելով իր ներքին թվերը (պարամետրերը), կանխատեսել հաջորդ տեքստը։ Դիզայնը, որ օգտագործում են LLM-ների մեծ մասը, կոչվում է transformer, և այն ներկայացվեց Google-ի հետազոտողների կողմից 2017 թվականին։
2. Կարգավորում (tuning)։ Հում մոդելը այնուհետև կատարելագործվում է, որպեսզի հետևի հրահանգներին, պահպանի զրույցը և խուսափի վնասակար արդյունքից՝ հաճախ մարդկային արձագանքի օգնությամբ։
3. Օգտագործում (inference)։ Երբ ուղարկում եք հուշում, մոդելը կարդում է այն և գեներացնում պատասխանը մեկ տոկենով անգամ՝ յուրաքանչյուր անգամ ընտրելով հավանական հաջորդ տոկենը՝ հաշվի առնելով ամբողջ նախորդը։

Նրա ներսում փաստերի տվյալների բազա չկա, և այն չի սովորում ձեր չաթից։ Զրույցում այն, ինչ մոդելը «գիտի», կա՛մ վարժեցումից է, կա՛մ այն, ինչ հիմա իր առջև է՝ իր համատեքստի պատուհանը։

Աշխատած օրինակ՝ աջակցության պատասխան

Ենթադրենք, դուք վարում եք առցանց բուսական խանութ և տեղադրում եք սա LLM-ի մեջ․

Հաճախորդը գրում է․ «Իմ #4412 պատվերը հասավ կոտրված ծաղկամանով։ Ի՞նչ կարող եք անել»։ Մեր քաղաքականությունը․ վնասված ապրանքները անվճար փոխարինում ենք 14 օրվա ընթացքում, եթե հաճախորդը ուղարկի լուսանկար։ Գրիր ընկերական պատասխան։

Այստեղ տեղի է ունենում հետևյալը․

• Տեքստը բաժանվում է տոկենների, մոտ հարյուրի չափով։
• Մոդելը կարդում է ամբողջը․ հաճախորդի հաղորդագրությունը, ձեր քաղաքականությունը և ձեր հրահանգը։
• Այն գեներացնում է պատասխանը տոկեն առ տոկեն․ «Բարև՛։ Շատ ցավում եմ, որ ծաղկամանը կոտրված է ստացվել…», և խնդրում է լուսանկար՝ հիշատակելով անվճար փոխարինումը։

Հիմա փորձեք նույն հարցումը առանց քաղաքականության։ Մոդելը դեռ կգրի վստահ, ընկերական պատասխան, բայց կարող է խոստանալ վերադարձ կամ 30-օրյա ժամկետ, քանի որ դրանք սովորական օրինաչափություններ են աջակցության նամակներում, որ նա տեսել է։ Սա հալյուցինացիա է, և այն ցույց է տալիս LLM-ների ամենագործնական դասը․ նրանք ճշգրիտ են այնքանով, որքանով ճշգրիտ է այն տեղեկությունը, որ տալիս եք նրանց։ Այն հավելվածները, որոնց պետք են հուսալի պատասխաններ, յուրաքանչյուր անգամ մատակարարում են մոդելին ճիշտ աղբյուրային նյութը՝ տեխնիկայով, որը կոչվում է RAG։

Հիմնական տերմինների բացատրություն

Սովորական սխալներ և թյուրըմբռնումներ

• «Այն փնտրում է բաներ։» Սովորական LLM-ը չի անում դա։ Որոշ հավելվածներ ավելացնում են վեբ որոնում կամ փաստաթղթերի որոնում, բայց մոդելը ինքը գեներացնում է օրինաչափություններից։
• «Եթե վստահ է հնչում, ուրեմն ճիշտ է։» Վստահությունը և ճշգրտությունը կապ չունեն։ Ստուգեք անուններ, թվեր, ամսաթվեր, գներ և այն ամենը, ինչ իրավական կամ բժշկական է։
• «Այն հիշում է ամեն ինչ, ինչ ասացի։» Միայն այն, ինչ տեղավորվում է համատեքստի պատուհանում։ Շատ երկար զրույցներում վաղ մանրամասները կարող են դուրս մնալ կամ ավելի քիչ ուշադրություն ստանալ։ Կրկին ասեք այն, ինչ կարևոր է։
• «Այն մտածում է մարդու պես։» Այն կարող է տպավորիչ կերպով դատողություններ անել, բայց չունի նպատակներ, համոզմունքներ կամ հետևանքների գիտակցում։ Վերաբերվեք դրա արդյունքին որպես նախագծի, որը պետք է վերանայել։
• «Ավելի մեծ կամ նորը միշտ ավելի լավն է։» Պարզ, մեծ ծավալի առաջադրանքի համար ավելի փոքր, էժան, արագ մոդելը հաճախ ճիշտ ընտրությունն է։
• Մասնավոր տվյալները առանց ստուգման ուղարկելը։ Նախքան հաճախորդների տվյալները որևէ AI ծառայության մեջ տեղադրելը կամ հավելվածում ներկառուցելը, ստուգեք մատակարարի տվյալների օգտագործման և պահպանման պայմանները։

Ինչ խնդրել ձեր AI builder-ից

Երբ LLM-ն է կառուցում ձեր հավելվածը․

• «Նախքան որևէ բան փոխելը, ասա ինձ, թե ինչ հասկացար և ինչ կանես։»
• «Ահա քաղաքականության ճշգրիտ տեքստը․ օգտագործիր այն բառ առ բառ, և մի հորինիր մանրամասներ։»
• «Մի գուշակիր փաստեր, ինչպիսիք են գները կամ ամսաթվերը։ Թող տեղը նշված մնա և թվարկիր դրանք ինձ համար։»

Երբ ուզում եք LLM ձեր հավելվածի ներսում․

• «Ավելացրու [ամփոփել] կոճակ, որը կանչում է [մատակարարի] API-ն սերվերից։ Բանալին պահիր գաղտնիքում, երբեք բրաուզերում։»
• «Դիր մեր քաղաքականությունները հուշման մեջ, որպեսզի պատասխանները համապատասխանեն դրանց, և ասա «չգիտեմ», երբ անորոշ ես։»
• «Սահմանափակիր պատասխանների երկարությունը և սահմանիր, թե մեկ օգտատեր օրական քանի հարցում կարող է անել։»
• «Գրանցիր յուրաքանչյուր հարցման արժեքը, որպեսզի տեսնեմ օգտագործումը։»

Քայլ առ քայլ ուղեցույցի համար տե՛ս ինչպես ավելացնել AI գործառույթներ ձեր հավելվածին։

LLM-ները և Mythex-ը

Mythex-ի կառուցող գործակալը աշխատում է LLM-ով։ Բոլորը ստանում են նույն Standard գործակալը՝ մոդելի ընտրիչ չկա, և կառուցումը օգտագործում է Mythex-ի վարկերը։ AI գործառույթները ձեր կառուցած հավելվածի ներսում առանձին են․ դուք բերում եք ձեր սեփական API բանալին մատակարարից, ինչպիսին է OpenAI-ը կամ Anthropic-ը, պահում այն որպես նախագծի գաղտնիք, և մատակարարը գանձում է այդ օգտագործման համար ուղղակիորեն։ Docs-ի AI ավելացնել հավելվածին ռեցեպտը ցույց է տալիս, թե որ հուշումն օգտագործել։

Հարցեր