Kaj je LLM? Veliki jezikovni modeli preprosto pojasnjeni

LLM ali veliki jezikovni model je vrsta umetne inteligence, naučena na ogromnih količinah besedila, da razume in ustvarja jezik. Dobi nekaj besedila in napove, kaj naj sledi, po majhnih kosih, ta preprosta sposobnost pa je dovolj za odgovarjanje na vprašanja, pisanje, povzemanje, prevajanje in pisanje kode. Modeli za ChatGPT, Claude in Gemini so vsi LLM-ji.

Zakaj je to pomembno pri gradnji z AI

Če gradite z AI graditeljem aplikacij, delate z LLM-jem na dva načina. Prvič, LLM gradi: prebere vašo zahtevo, načrtuje spremembe in napiše kodo. Drugič, morda želite LLM v svoji aplikaciji — klepetalnega robota, gumb za povzemanje, pomočnika za pisanje.

Razumevanje osnov pomaga v obeh primerih. Pojasni, zakaj AI včasih napačno razume nejasno zahtevo, zakaj lahko samozavestno ustvari nekaj napačnega, zakaj lahko dolgi pogovori povzročijo, da izgubi sled prejšnjim podrobnostim, in zakaj dodajanje funkcij AI v aplikacijo stane denar za vsako uporabo. Ne potrebujete matematike — dovolj je zdrav miselni model.

Vsakdanja primerjava

Zamislite si nekoga, ki je prebral neskončno veliko knjižnico — knjige, spletne strani, navodila, kodo, forume — in je postal izjemno dober v nadaljevanju katerega koli besedila tako, da se ujema. Dajte mu začetek e-pošte, pa jo bo dokončal v vašem tonu. Vprašajte ga in napisal bo tip odgovora, ki običajno sledi takemu vprašanju.

Nima pa zapiskov, ki bi jih lahko preveril, knjižnica pa je zaprla ob določenem datumu. Priklicuje vzorce, ne išče dejstev. Večinoma so vzorci pravilni. Včasih pa zapolni vrzel s stvarjo, ki samo zveni prav, z enako samozavestjo.

To je LLM: zelo dobro bran, zelo tekoč pisec z nepopolnim spominom in brez vgrajenega preverjanja dejstev.

Kako deluje LLM, preprosto

1. Učenje. Model vidi ogromne količine besedila in se z uglaševanjem milijard notranjih števil (njegovih parametrov) nauči napovedovati naslednji del besedila. Zasnova, ki jo uporablja večina LLM-jev, se imenuje transformer, uvedli pa so jo raziskovalci Googla leta 2017.
2. Uglaševanje. Surovi model se nato izboljša, da sledi navodilom, vodi pogovor in se izogiba škodljivemu izhodu, pogosto z uporabo človeških povratnih informacij.
3. Uporaba (sklepanje, inference). Ko pošljete poziv, model prebere besedilo in ustvari odgovor po enem žetonu naenkrat, pri vsakem izbere verjetni naslednji žeton glede na vse, kar je bilo pred njim.

V sebi nima baze podatkov dejstev in se ne uči iz vašega klepeta. Vse, kar »ve« v pogovoru, prihaja iz učenja ali iz tistega, kar je v tem trenutku pred njim — njegovega kontekstnega okna.

Delovni primer: odgovor na podporo

Recimo, da vodite spletno trgovino z rastlinami in v LLM prilepite tole:

Stranka piše: »Moje naročilo št. 4412 je prispelo s polomljenim lončkom. Kaj lahko storite?« Naša politika: poškodovane izdelke brezplačno zamenjamo v 14 dneh, če stranka pošlje fotografijo. Napišite prijazen odgovor.

Kaj se zgodi:

• Besedilo se razdeli na žetone, morda nekaj sto.
• Model prebere vse: sporočilo stranke, vašo politiko in navodilo.
• Ustvari odgovor žeton za žetonom: »Živjo! Zelo mi je žal, da je lonček prispel polomljen …« in prosi za fotografijo ter omeni brezplačno zamenjavo.

Zdaj pa poskusite isto zahtevo brez politike. Model bo še vedno napisal samozavesten, prijazen odgovor — vendar bi lahko obljubil vračilo denarja ali 30-dnevni rok, ker so to običajni vzorci v podpornih e-poštnih sporočilih, ki jih je videl. To je halucinacija, in pokaže najbolj praktično lekcijo o LLM-jih: so natančni le toliko, kolikor informacij jim daste. Aplikacije, ki potrebujejo zanesljive odgovore, modelu vsakič dajo pravo izvorno gradivo — tehniko, imenovano RAG.

Ključni pojmi pojasnjeni

Pogoste napake in zmote

• »Stvari poišče.« Navaden LLM tega ne počne. Nekatere aplikacije dodajo spletno iskanje ali pridobivanje dokumentov, sam model pa ustvarja iz vzorcev.
• »Če zveni samozavestno, je prav.« Samozavest in natančnost nista povezani. Preverite imena, številke, datume, cene in vse, kar je pravno ali medicinsko.
• »Zapomni si vse, kar sem rekel.« Samo tisto, kar se prilega v kontekstno okno. V zelo dolgih pogovorih lahko zgodnje podrobnosti izpadejo ali dobijo manj pozornosti. Pomembno povejte znova.
• »Razmišlja kot človek.« Lahko impresivno sklepa o problemih, vendar nima ciljev, prepričanj ali zavedanja o posledicah. Njegov izhod obravnavajte kot osnutek za pregled.
• »Večji ali novejši je vedno boljši.« Za preprosto, obsežno nalogo je pogosto pravilna izbira manjši, cenejši in hitrejši model.
• Pošiljanje zasebnih podatkov brez preverjanja. Preden prilepite podatke strank v katerokoli storitev AI ali jih vgradite v aplikacijo, preverite pogoje ponudnika o uporabi in hrambi podatkov.

Kaj zahtevati od svojega AI graditelja

Ko LLM gradi vašo aplikacijo:

• „Preden kaj spremeniš, mi povej, kaj si razumel in kaj boš naredil.“
• „Tukaj je točno besedilo politike; uporabi ga dobesedno in ne izmišljuj podrobnosti.“
• „Ne ugibaj dejstev, kot so cene ali datumi. Pusti rezervirano mesto in jih našteji zame.“

Ko želite LLM v svoji aplikaciji:

• „Dodaj gumb [povzemi], ki kliče API ponudnika [ponudnik] s strežnika. Ključ API hrani kot skrivnost, nikoli v brskalniku.“
• „Naše politike daj v poziv, da bodo odgovori ostali skladni z njimi, in naj pove »ne vem«, kadar ni prepričan.“
• „Omeji dolžino odgovorov in število zahtev, ki jih lahko en uporabnik pošlje na dan.“
• „Beleži, koliko je stala vsaka zahteva, da lahko vidim porabo.“

Za postopek po korakih glejte kako dodati funkcije AI v svojo aplikacijo.

LLM-ji in Mythex

Agent za gradnjo v Mythexu temelji na LLM-ju. Vsi dobijo isti standardni agent — izbire modela ni — gradnja pa porablja kredite Mythexa. Funkcije AI znotraj aplikacije, ki jo gradite, so ločene: sami prinesete API-ključ pri ponudniku, kot sta OpenAI ali Anthropic, ga shranite kot skrivnost projekta, ponudnik pa vam porabo zaračuna neposredno. Recept v dokumentaciji dodaj AI v svojo aplikacijo pokaže poziv, ki ga uporabite.

Vprašanja