Što je LLM? Veliki jezični modeli jednostavno objašnjeni

LLM, ili veliki jezični model, je vrsta AI-ja treniranog na ogromnim količinama teksta kako bi mogao razumjeti i generirati jezik. Kad dobije neki tekst, predviđa što bi trebalo doći sljedeće, jedan mali dio po dio, i ta jednostavna sposobnost pokazuje se dovoljnom za odgovaranje na pitanja, pisanje, sažimanje, prevođenje i pisanje koda. Modeli iza ChatGPT-ja, Claudea i Geminija su svi LLM-ovi.

Zašto je važno kad gradite s AI-jem

Ako gradite s AI graditeljem aplikacija, radite s LLM-om na dva načina. Prvo, LLM gradi: čita vaš zahtjev, planira promjene i piše kod. Drugo, možda želite LLM unutar vaše aplikacije — chatbot, gumb za sažetak, asistent za pisanje.

Razumijevanje osnova pomaže u oba slučaja. Objašnjava zašto AI ponekad pogrešno razumije nejasan zahtjev, zašto može samouvjereno proizvesti nešto pogrešno, zašto dugi razgovori mogu navesti da izgubi trag ranijim detaljima i zašto dodavanje AI značajki u aplikaciju košta novac po korištenju. Ne trebate matematiku — samo zdrav mentalni model.

Svakodnevna usporedba

Zamislite nekoga tko je pročitao nezamislivo veliku knjižnicu — knjige, web stranice, priručnike, kod, forume — i postao iznimno dobar u nastavljanju bilo kojeg teksta na način koji paše. Dajte mu početak e-maila i završit će ga u vašem tonu. Postavite pitanje i napisat će onakav odgovor kakav obično slijedi takvo pitanje.

Ali nema bilješke koje bi provjerio, a knjižnica se zatvorila na određeni datum. On prisjeća obrazaca, a ne nešto traži. Većinu vremena obrasci su točni. Ponekad popuni prazninu nečim što samo zvuči točno, s istom samouvjerenošću.

To je LLM: vrlo načitan, vrlo tečan pisac s nesavršenim pamćenjem i bez ugrađenog provjeravača činjenica.

Kako LLM radi, jednostavno

Treniranje. Model vidi ogromne količine teksta i uči, podešavajući milijarde svojih unutarnjih brojeva (njegovih parametara), predviđati sljedeći dio teksta. Dizajn koji većina LLM-ova koristi zove se transformer, a uveli su ga istraživači Googlea 2017.
Podešavanje. Sirovi model se zatim dorađuje da slijedi upute, vodi razgovor i izbjegava štetan izlaz, često uz ljudske povratne informacije.
Korištenje (inferencija). Kad pošaljete prompt, model ga čita i generira odgovor jedan token po jedan, svaki put birajući vjerojatan sljedeći token s obzirom na sve što je prije bilo.

Nema u sebi bazu činjenica i ne uči iz vašeg chata. Sve što „zna“ u razgovoru dolazi ili iz treniranja ili iz onoga što je upravo pred njim — njegovog kontekstualnog prozora.

Primjer: odgovor na upit kupca

Recimo da vodite internetsku trgovinu biljaka i u LLM zalijepite ovo:

Kupac piše: „Moja narudžba #4412 stigla je s razbijenim loncem. Što možete učiniti?“ Naša politika: oštećene artikle besplatno zamjenjujemo unutar 14 dana ako kupac pošalje fotografiju. Napiši ljubazan odgovor.

Evo što se događa:

Tekst se dijeli na tokene, možda stotinjak ili više.
Model čita cijeli tekst: poruku kupca, vašu politiku i vašu uputu.
Generira odgovor token po token: „Pozdrav! Jako mi je žao što je vaš lonac stigao razbijen…“ i traži fotografiju, spominjući besplatnu zamjenu.

Sada probajte isti zahtjev bez politike. Model će i dalje napisati samouvjeren, ljubazan odgovor — ali možda obećati povrat novca ili rok od 30 dana, jer su to uobičajeni obrasci u podrškolnim e-mailovima koje je vidio. To je halucinacija, i pokazuje najpraktičniju lekciju o LLM-ovima: točni su samo onoliko koliko su točne informacije koje im date. Aplikacije kojima trebaju pouzdani odgovori svaki put modelu daju odgovarajući izvorni materijal, tehnikom koja se zove RAG.

Ključni pojmovi objašnjeni

Pojam	Što znači
Token	Dio teksta — često riječ ili dio riječi. Ograničenja i cijene broje se u tokenima.
Kontekstualni prozor	Koliko teksta model može uzeti u obzir odjednom: vaš prompt, razgovor i svi dokumenti.
Prompt	Ulaz koji dajete modelu. Pogledajte što je prompt engineering.
Parametri	Unutarnji brojevi naučeni tijekom treniranja. Više nije automatski bolje.
Podaci za treniranje	Tekst iz kojeg je model učio.
Datum znanja (knowledge cutoff)	Datum nakon kojeg model nema podataka za treniranje, pa ne zna nedavne događaje osim ako mu ih ne kažete.
Halucinacija	Tečan, samouvjeren izlaz koji je netočan.
Temperatura	Postavka koja govori koliko je izlaz raznolik ili predvidljiv.
Inferencija	Pokretanje modela da dobijete odgovor. Ovo plaćate po korištenju.
Multimodalno	Modeli koji mogu obrađivati i slike, zvuk ili druge ulaze, a ne samo tekst.
API	Način na koji aplikacija programski šalje promptove LLM-u. Pogledajte kako koristiti LLM API-je.

Česte pogreške i zablude

„Traži stvari.“ Običan LLM to ne radi. Neke aplikacije dodaju web pretragu ili dohvat dokumenata, ali sam model generira iz obrazaca.
„Ako zvuči sigurno, točno je.“ Samouvjerenost i točnost nisu povezane. Provjerite imena, brojeve, datume, cijene i sve pravne ili medicinske stvari.
„Pamti sve što sam rekao.“ Samo ono što stane u kontekstualni prozor. U vrlo dugim razgovorima raniji detalji mogu ispasti ili dobiti manje pozornosti. Ponovite ono što je važno.
„Razmišlja kao čovjek.“ Može impresivno rasuđivati o problemima, ali nema ciljeve, uvjerenja niti svijest o posljedicama. Njegov izlaz tretirajte kao nacrt za pregled.
„Veći ili noviji uvijek je bolji.“ Za jednostavan, veliki obujam posla manji, jeftiniji i brži model često je pravi izbor.
Slanje privatnih podataka bez provjere. Prije nego zalijepite podatke kupaca u bilo koju AI uslugu ili ih ugradite u aplikaciju, provjerite pravila pružatelja o korištenju i zadržavanju podataka.

Što tražiti od vašeg AI graditelja

Kad LLM gradi vašu aplikaciju:

„Prije nego išta promijeniš, reci mi što si razumio i što ćeš učiniti.“
„Evo točnog teksta politike; koristi ga doslovno, a ne izmišljaj detalje.“
„Ne nagađaj činjenice poput cijena ili datuma. Ostavi rezervirano mjesto i popiši ih za mene.“

Kad želite LLM unutar svoje aplikacije:

„Dodaj gumb [sažmi] koji poziva API od [pružatelja] s poslužitelja. Čuvaj API ključ kao tajnu, nikad u pregledniku.“
„Stavi naše politike u prompt da se odgovori drže njih i neka odgovara „Ne znam“ kad nije siguran.“
„Ograniči koliko odgovori mogu biti dugi i ograniči koliko zahtjeva jedan korisnik može poslati dnevno.“
„Zabilježi koliko je svaki zahtjev koštao da vidim potrošnju.“

Za korak-po-korak vodič pogledajte kako dodati AI značajke u aplikaciju.

LLM-ovi i Mythex

Agent za gradnju u Mythexu radi na LLM-u. Svi dobivaju isti Standard agent — nema izbornika modela — a gradnja troši Mythex kredite. AI značajke unutar aplikacije koju gradite zasebne su: donosite vlastiti API ključ od pružatelja poput OpenAI-ja ili Anthropica, spremate ga kao tajnu projekta, a pružatelj vam izravno naplaćuje to korištenje. Recept u dokumentaciji dodaj AI u svoju aplikaciju pokazuje prompt koji treba koristiti.

Pitanja

Što znači LLM?

LLM je kratica za large language model, odnosno veliki jezični model: AI model treniran na vrlo velikim količinama teksta da razumije i generira jezik. Modeli iza ChatGPT-ja, Claudea i Geminija su LLM-ovi.

Je li ChatGPT LLM?

ChatGPT je chat aplikacija izgrađena na LLM-ovima tvrtke OpenAI. LLM je temeljni model koji generira tekst; aplikacija oko njega dodaje chat sučelje, značajke memorije, alate i sigurnosne slojeve.

Zašto LLM-ovi izmišljaju stvari?

LLM generira riječi koje su najvjerojatnije sljedeće, na temelju obrazaca koje je naučio, a ne tražeći činjenice u bazi podataka. Kad mu nedostaju prave informacije, može proizvesti tečan, samouvjeren tekst koji je pogrešan — to se zove halucinacija. Ako mu date izvorni materijal i provjeravate odgovore, rizik se smanjuje.

Uči li LLM iz mojih razgovora?

Model se ne mijenja tijekom razgovora; vidi samo ono što je u njegovom kontekstualnom prozoru. Hoće li se vaši razgovori kasnije koristiti za treniranje budućih modela ovisi o politici pružatelja i vašim postavkama, zato provjerite uvjete usluge koju koristite.

Što je token u LLM-u?

Token je dio teksta koji model čita i piše — često riječ ili dio riječi. Ograničenja konteksta i cijene API-ja mjere se u tokenima, pa dulji promptovi i odgovori koštaju više.