Kas yra LLM? Didieji kalbos modeliai paprastai

LLM, arba didysis kalbos modelis (large language model), yra DI tipas, apmokytas ant didžiulio kiekio teksto, kad galėtų suprasti ir generuoti kalbą. Gavęs tekstą, jis prognozuoja, kas turėtų eiti toliau, po mažą gabalėlį, o šis paprastas gebėjimas pasirodo pakankamas atsakyti į klausimus, rašyti, apibendrinti, versti ir rašyti kodą. Modeliai, slypintys už ChatGPT, Claude ir Gemini, visi yra LLM.

Kodėl tai svarbu kuriant su DI

Jei kuriate su DI programų kūrimo įrankiu, dirbate su LLM du kartus. Pirma, LLM kuria: jis skaito jūsų užklausą, planuoja pakeitimus ir rašo kodą. Antra, galbūt norite LLM programos viduje – pokalbių roboto, santraukos mygtuko, rašymo asistento.

Pagrindų supratimas padeda abiem atvejais. Jis paaiškina, kodėl DI kartais neteisingai supranta neaiškią užklausą, kodėl gali užtikrintai sukurti kažką klaidingo, kodėl ilgi pokalbiai gali nustumti ankstesnes detales ir kodėl DI funkcijų pridėjimas programai kainuoja pinigų už kiekvieną naudojimą. Matematikos nereikia – tik tvirto mąstymo modelio.

Kasdienė analogija

Įsivaizduokite žmogų, kuris perskaitė neįtikėtinai didelę biblioteką – knygas, svetaines, instrukcijas, kodą, forumus – ir tapo nepaprastai geru bet kokio teksto tęsėju taip, kad tiktų. Duokite jam laiško pradžią, ir jis jį baigs jūsų tonu. Uždavus klausimą, jis parašys tokio atsakymo tipą, kuris paprastai seka tokį klausimą.

Bet jis neturi užrašų, kuriuos galėtų patikrinti, o biblioteka kažkurią dieną buvo uždaryta. Jis atkuria šablonus, o ne ieško faktų. Dažniausiai šablonai teisingi. Kartais jis užpildo spragą kažkuo, kas tik skamba teisingai, su tokiu pačiu tikrumu.

Štai toks yra LLM: labai daug skaitantis, labai sklandus rašytojas su nepatikima atmintimi ir be įmontuoto faktų tikrintojo.

Kaip veikia LLM paprastai

1. Mokymas. Modeliui parodoma didžiulis tekstų kiekis, ir jis mokosi, koreguodamas milijardus savo vidinių skaičių (parametrų), prognozuoti kitą teksto dalį. Dažniausiai LLM naudojama architektūra vadinama transformeriu – ją 2017 m. pristatė Google tyrėjai.
2. Derinimas. Žaliavinis modelis tada patikslinamas, kad laikytųsi instrukcijų, palaikytų pokalbį ir vengtų kenksmingo turinio, dažnai naudojant žmonių grįžtamąjį ryšį.
3. Naudojimas (inferencija). Kai išsiunčiate užklausą, modelis ją perskaito ir generuoja atsakymą po vieną žetoną, kiekvieną kartą pasirinkdamas tikėtiną kitą žetoną, atsižvelgdamas į viską, kas buvo prieš tai.

Jame nėra faktų duomenų bazės, ir jis nemoko savęs iš jūsų pokalbio. Viskas, ką jis „žino“ pokalbyje, yra arba iš mokymo, arba tai, kas yra jo priekyje dabar – jo konteksto langas.

Pavyzdys: klientų aptarnavimo atsakymas

Tarkime, vedate augalų internetinę parduotuvę ir įklijuojate į LLM tokį tekstą:

Klientas rašo: „Mano užsakymas #4412 atkeliavo su sudužusiu vazonu. Ką galite padaryti?“ Mūsų taisyklė: pažeistas prekes nemokamai pakeičiame per 14 dienų, jei klientas atsiunčia nuotrauką. Parašyk draugišką atsakymą.

Štai kas vyksta:

• Tekstas suskaidomas į žetonus, galbūt keletą šimtų.
• Modelis perskaito visą tekstą: kliento žinutę, jūsų taisyklę ir jūsų instrukciją.
• Jis generuoja atsakymą žetonas po žetono: „Labas! Labai atsiprašau, kad vazonas atkeliavo sudužęs…“ ir prašo nuotraukos, paminėdamas nemokamą pakeitimą.

Dabar pabandykite tą pačią užklausą be taisyklės. Modelis vis tiek parašys užtikrintą, draugišką atsakymą – bet galbūt pažadės grąžinti pinigus ar 30 dienų langą, nes tai įprasti šablonai aptarnavimo laiškuose, kuriuos jis matė. Tai yra haliucinacija, ir ji parodo praktiškiausią pamoką apie LLM: jie tikslūs tiek, kiek tikslios informacijos jiems pateikiate. Programos, kurioms reikia patikimų atsakymų, kiekvieną kartą modeliui perduoda tinkamą šaltinio medžiagą – tai metodas, vadinamas RAG.

Pagrindiniai terminai paaiškinti

Dažnos klaidos ir mitai

• „Jis ieško informacijos.“ Paprastas LLM neieško. Kai kurios programos prideda interneto paiešką ar dokumentų gavimą, bet pats modelis generuoja pagal šablonus.
• „Jei skamba užtikrintai, vadinasi, teisinga.“ Pasitikėjimas ir tikslumas nesusiję. Tikrinkite vardus, skaičius, datas, kainas ir viską, kas susiję su teisa ar medicina.
• „Jis prisimena viską, ką sakiau.“ Tik tai, kas telpa konteksto lange. Labai ilguose pokalbiuose ankstesnės detalės gali išnykti arba gauti mažiau dėmesio. Pakartokite tai, kas svarbu.
• „Jis galvoja kaip žmogus.“ Jis gali įspūdingai samprotauti apie problemas, bet neturi tikslų, įsitikinimų ar supratimo apie pasekmes. Su jo išvestimi elkitės kaip su juodraščiu, kurį reikia peržiūrėti.
• „Didesnis ar naujesnis visada geresnis.“ Paprastai užduočiai su dideliu kiekiu, mažesnis, pigesnis ir greitesnis modelis yra teisingas pasirinkimas.
• Privačių duomenų siuntimas nepatikrinus. Prieš įklijuodami kliento duomenis į bet kokią DI paslaugą ar įdėdami juos į programą, patikrinkite teikėjo duomenų naudojimo ir saugojimo sąlygas.

Ką paprašyti DI kūrėjo

Kai LLM kuria jūsų programą:

• „Prieš keisdamas ką nors, pasakyk, ką supratai ir ką darysi.“
• „Čia tiksli politikos tekstas; naudok jį žodis žodį, o ne išgalvok detalių.“
• „Nespėk faktų, pavyzdžiui, kainų ar datų. Palik vietos žymeklius ir išvardink juos man.“

Kai norite LLM savo programos viduje:

• „Pridėk mygtuką [apibendrinti], kuris kviečia [teikėjo] API iš serverio. API raktas turi būti paslaptyje, niekada naršyklėje.“
• „Įdėk mūsų politikas į užklausą, kad atsakymai liktų jų ribose, ir sakyk „nežinau“, kai nesi tikras.“
• „Apriboki atsakymų ilgį ir kiek užklausų vienas vartotojas gali atlikti per dieną.“
• „Įrašyk, kiek kiekviena užklausa kainavo, kad matyčiau naudojimą.“

Žingsnis po žingsnio vadovui žr. kaip pridėti DI funkcijas į savo programą.

LLM ir Mythex

Mythex kūrimo agentas veikia ant LLM. Visi naudoja tą patį Standard agentą – modelio pasirinkimo nėra – o kūrimas naudoja Mythex kreditus. DI funkcijos jūsų sukurtoje programoje yra atskiros: naudojate savo API raktą iš teikėjo, pavyzdžiui, OpenAI ar Anthropic, įrašote jį kaip projekto paslaptį, o teikėjas apmokestina tą naudojimą tiesiogiai. Dokumentacijos receptas pridėti DI į savo programą rodo, kokią užklausą naudoti.

Klausimai