Kas ir LLM? Lielie valodas modeļi vienkārši izskaidroti

LLM jeb lielais valodas modelis ir AI veids, kas apmācīts uz milzīgu tekstu apjomu, lai tas varētu saprast un ģenerēt valodu. Dodot kādu tekstu, tas prognozē, kam jāseko, pa vienam mazam gabaliņam, un šī spēja izrādās pietiekama, lai atbildētu uz jautājumiem, rakstītu, apkopotu, tulkotu un rakstītu kodu. Modeļi aiz ChatGPT, Claude un Gemini ir visi LLM.

Kāpēc tas ir svarīgi, veidojot ar AI

Ja veidojat ar AI lietotņu veidotāju, jūs strādājat ar LLM divreiz. Pirmkārt, LLM veido jūsu lietotni: tas lasa jūsu pieprasījumu, plāno izmaiņas un raksta kodu. Otrkārt, jūs varat vēlēties LLM lietotnē — tērzēšanas robotu, kopsavilkuma pogu, rakstīšanas palīgu.

Pamatu izpratne palīdz abos gadījumos. Tā izskaidro, kāpēc AI dažreiz pārprot neskaidru pieprasījumu, kāpēc tas var pārliecināti radīt kaut ko nepareizu, kāpēc garas sarunas var likt tam zaudēt pavedienu un kāpēc AI funkciju pievienošana lietotnei maksā par katru lietojumu. Jums nav vajadzīga matemātika — tikai pareizs garīgs modelis.

Ikdienas salīdzinājums

Iedomājieties kādu, kas ir izlasījis neiedomājami lielu bibliotēku — grāmatas, tīmekļa vietnes, rokasgrāmatas, kodu, forumus — un kļuvis ārkārtīgi labs ikviena teksta turpināšanā tā, lai tas atbilstu. Dodiet viņam e-pasta sākumu, un viņš to pabeigs jūsu tonī. Uzdodiet jautājumu, un viņš uzrakstīs tādu atbildi, kāda parasti seko šādam jautājumam.

Bet viņam nav piezīmju, ko pārbaudīt, un bibliotēka aizvērās noteiktā datumā. Viņš atceras sakarības, nevis meklē faktus. Lielāko daļu laika sakarības ir pareizas. Dažreiz viņš aizpilda robu ar kaut ko, kas tikai izklausās pareizi, ar tādu pašu pārliecību.

Tas ir LLM: ļoti lasījis, ļoti plūstošs rakstītājs ar nepilnīgu atmiņu un bez iebūvēta faktu pārbaudītāja.

Kā LLM darbojas vienkāršos vārdos

1. Apmācība. Modelim parāda milzīgu tekstu apjomu, un tas mācās, pielāgojot miljardus savu iekšējo skaitļu (parametru), prognozēt nākamo teksta daļu. Dizains, ko izmanto vairums LLM, saucas transformators, ko 2017. gadā ieviesa Google pētnieki.
2. Pielāgošana. Neapstrādāto modeli tad uzlabo, lai tas sekotu norādījumiem, uzturētu sarunu un izvairītos no kaitīgas izvades, bieži izmantojot cilvēku atsauksmes.
3. Izmantošana (inference). Kad nosūtāt uzvedni, modelis to nolasa un ģenerē atbildi pa vienam žetonam, katru reizi izvēloties iespējamāko nākamo žetonu, ņemot vērā visu, kas bijis pirms tā.

Tam nav faktu datubāzes iekšienē, un tas nemācās no jūsu tērzēšanas. Viss, ko tas „zina” sarunā, ir vai nu no apmācības, vai tas, kas ir tā priekšā tieši tagad — tā konteksta logs.

Praktisks piemērs: klientu atbilde

Pieņemsim, ka vadāt tiešsaistes augu veikalu un ielīmējat LLM šādu tekstu:

Klients raksta: „Mans pasūtījums #4412 atnāca ar salauztu podu. Ko jūs varat darīt?” Mūsu politika: bojātas preces nomainām bez maksas 14 dienu laikā, ja klients nosūta fotoattēlu. Uzrakstiet draudzīgu atbildi.

Notiek šādi:

• Teksts tiek sadalīts žetonos, varbūt ap simtu.
• Modelis nolasa visu: klienta ziņu, jūsu politiku un jūsu norādījumu.
• Tas ģenerē atbildi pa žetoniem: „Sveiks! Ļoti atvainojamies, ka pods atnāca salauzts…” un lūdz fotoattēlu, pieminot bezmaksas nomaiņu.

Tagad izmēģiniet to pašu pieprasījumu bez politikas. Modelis joprojām uzrakstīs pārliecinātu, draudzīgu atbildi — bet tas varētu solīt atmaksu vai 30 dienu logu, jo tie ir izplatīti modeļi atbalsta e-pastos, ko tas ir redzējis. Tā ir halucinācija, un tā parāda visnoderīgāko mācību par LLM: tie ir tikpat precīzi, cik informācija, ko tiem dodat. Lietotnes, kurām vajag uzticamas atbildes, katru reizi modelim padod pareizo avota materiālu — paņēmiens, ko sauc par RAG.

Galveno terminu skaidrojums

Biežākās kļūdas un nepareizi priekšstati

• „Tas meklē lietas.” Vienkāršs LLM to nedara. Dažas lietotnes pievieno tīmekļa meklēšanu vai dokumentu izgūšanu, bet pats modelis ģenerē no sakarībām.
• „Ja skan pārliecināti, tad tas ir pareizi.” Pārliecība un precizitāte nav saistītas. Pārbaudiet vārdus, skaitļus, datumus, cenas un visu juridisku vai medicīnisku.
• „Tas atceras visu, ko teicu.” Tikai to, kas ietilpst konteksta logā. Ļoti garās sarunās agrākas detaļas var izkrist vai saņemt mazāku uzmanību. Atkārtojiet to, kas ir svarīgi.
• „Tas domā kā cilvēks.” Tas var iespaidīgi spriest par problēmām, taču tam nav mērķu, uzskatu vai izpratnes par sekām. Uzskatiet tā izvadi par melnrakstu, ko pārskatīt.
• „Lielāks vai jaunāks vienmēr ir labāks.” Vienkāršam, lielas apjoma uzdevumam mazāks, lētāks un ātrāks modelis bieži ir pareizā izvēle.
• Privātu datu sūtīšana bez pārbaudes. Pirms klientu datu ievietošanas jebkurā AI pakalpojumā vai lietotnē pārbaudiet sniedzēja datu izmantošanas un glabāšanas noteikumus.

Ko prasīt savam AI veidotājam

Kad LLM veido jūsu lietotni:

• „Pirms kaut ko maināt, pastāstiet, ko saprotat un ko darīsiet.”
• „Šeit ir precīzs politikas teksts; izmantojiet to vārdu pa vārdam, nevis izdomājiet detaļas.”
• „Neminiet faktus, piemēram, cenas vai datumus. Atstājiet vietturus un uzskaitiet tos man.”

Kad vēlaties LLM savā lietotnē:

• „Pievienojiet pogu [apkopot], kas izsauc [sniedzēja] API no servera. Glabājiet API atslēgu noslēpumā, nekad pārlūkprogrammā.”
• „Ielieciet mūsu politikas uzvednē, lai atbildes paliktu tām atbilstošas, un sakiet „Es nezinu”, kad neesat pārliecināts.”
• „Ierobežojiet atbilžu garumu un to, cik pieprasījumu viens lietotājs var izdarīt dienā.”
• „Reģistrējiet, cik maksāja katrs pieprasījums, lai es varētu redzēt lietojumu.”

Pakāpeniskai instrukcijai skatiet kā pievienot AI funkcijas savai lietotnei.

LLM un Mythex

Mythex veidošanas aģents darbojas ar LLM. Visi saņem vienu un to pašu Standard aģentu — modeļa izvēles nav — un veidošana izmanto Mythex kredītus. AI funkcijas jūsu veidotajā lietotnē ir atsevišķas: jūs atnesat savu API atslēgu no sniedzēja, piemēram, OpenAI vai Anthropic, saglabājat to kā projekta noslēpumu, un sniedzējs par šo lietojumu jums rēķina tieši. Docs receptē pievienot AI savai lietotnei ir uzvedne, ko izmantot.

Jautājumi