Šta je LLM? Veliki jezički modeli objašnjeni jednostavno

LLM, ili veliki jezički model, je vrsta AI-ja obučena na ogromnim količinama teksta kako bi razumjela i proizvodila jezik. Dobije li tekst, predviđa šta treba da slijedi, po jedan mali dio u isto vrijeme, a ta jednostavna sposobnost dovoljna je za odgovaranje na pitanja, pisanje, sažimanje, prevođenje i pisanje koda. Modeli iza ChatGPT-ja, Claudea i Geminija su svi LLM-ovi.

Zašto je to važno kada pravite uz AI

Ako pravite uz AI alat za pravljenje aplikacija, dvostruko radite s LLM-om. Prvo, LLM pravi aplikaciju: čita vaš zahtjev, planira izmjene i piše kod. Drugo, možda želite LLM unutar vaše aplikacije — chatbot, dugme za sažimanje, asistenta za pisanje.

Osnove vam pomažu u oba slučaja. Objašnjavaju zašto AI ponekad pogrešno razumije nejasan zahtjev, zašto može samouvjereno proizvesti nešto pogrešno, zašto duge konverzacije mogu učiniti da izgubi trag ranijim detaljima i zašto dodavanje AI funkcija u aplikaciju košta novac po upotrebi. Ne treba vam matematika — samo dobar mentalni model.

Analogija iz svakodnevnog života

Zamislite nekoga ko je pročitao neshvatljivo veliku biblioteku — knjige, web-stranice, uputstva, kod, forume — i postao izuzetno dobar u nastavljanju bilo kojeg teksta tako da se uklopi. Date mu početak e-pošte, a on će je završiti u vašem tonu. Postavite pitanje, a on će napisati odgovor kakav obično slijedi takvo pitanje.

Ali nema bilješki za provjeru, a biblioteka je zatvorena na određeni datum. On prisjeća obrasce, ne traži činjenice. Većinom su obrasci tačni. Ponekad popuni prazninu nečim što samo zvuči tačno, s potpuno istom sigurnošću.

To je LLM: vrlo načitan, vrlo tečan pisac s nesavršenim pamćenjem i bez ugrađene provjere činjenica.

Kako LLM radi, u jednostavnim pojmovima

1. Obuka. Model se izlaže ogromnoj količini teksta i uči, podešavajući milijarde unutrašnjih brojeva (njegove parametre), da predviđa sljedeći dio teksta. Dizajn koji većina LLM-ova koristi zove se transformer, a uveli su ga istraživači Googlea 2017.
2. Podešavanje. Sirovi model se zatim doteruje da prati uputstva, vodi razgovor i izbjegava štetan izlaz, često uz ljudske povratne informacije.
3. Korištenje (inferencija). Kada pošaljete prompt, model ga čita i generiše odgovor po jedan token, svaki put birajući vjerovatan sljedeći token na osnovu svega prije.

Unutra nema baze činjenica, i ne uči stalno iz vašeg čavrljanja. Sve što „zna” u razgovoru dolazi ili iz obuke ili iz onoga što je upravo ispred njega — njegovog kontekstnog prozora.

Radni primjer: odgovor na podršku

Recimo da vodite online prodavnicu biljaka i zalijepite ovo u LLM:

Kupac piše: „Moja narudžba #4412 stigla je sa razbijenom saksijom. Šta možete učiniti?” Naša politika: oštećene artikle zamjenjujemo besplatno u roku od 14 dana ako kupac pošalje fotografiju. Napiši ljubazan odgovor.

Evo šta se dešava:

• Tekst se dijeli na tokene, možda stotinak.
• Model čita cijeli tekst: poruku kupca, vašu politiku i vaše uputstvo.
• Generiše odgovor token po token: „Zdravo! Jako mi je žao što je saksija stigla razbijena…” i traži fotografiju, spominjući besplatnu zamjenu.

Sada probajte isti zahtjev bez politike. Model i dalje napiše samouvjeren, ljubazan odgovor — ali može obećati povrat novca ili rok od 30 dana, jer su to uobičajeni obrasci u e-porukama podrške koje je vidio. To je halucinacija, a pokazuje najpraktičniju pouku o LLM-ovima: tačni su samo koliko su informacije koje im date. Aplikacije kojima trebaju pouzdani odgovori svaki put hrane model pravim izvornim materijalom, tehnikom koja se zove RAG.

Ključni pojmovi objašnjeni

Česte greške i zablude

• „On traži činjenice.” Običan LLM to ne radi. Neke aplikacije dodaju pretragu weba ili pronalaženje dokumenata, ali sam model generiše na osnovu obrazaca.
• „Ako zvuči sigurno, tačno je.” Samouvjerenost i tačnost nemaju veze. Provjerite imena, brojeve, datume, cijene i sve pravne ili medicinske stvari.
• „Pamti sve što sam rekao.” Samo ono što stane u kontekstni prozor. U vrlo dugim razgovorima raniji detalji mogu ispasti ili dobiti manje pažnje. Ponovite ono što je bitno.
• „Razmišlja kao čovjek.” Može impresivno rezonovati o problemima, ali nema ciljeve, uvjerenja ni svijest o posljedicama. Tretirajte njegov izlaz kao nacrt za pregled.
• „Veći ili noviji je uvijek bolji.” Za jednostavan zadatak velikog obima, manji, jeftiniji i brži model često je pravi izbor.
• Slanje privatnih podataka bez provjere. Prije nego što zalijepite podatke kupaca u bilo koji AI servis ili ih ugradite u aplikaciju, provjerite uslove dobavljača o korištenju i čuvanju podataka.

Šta tražiti od vašeg AI alata

Kada LLM pravi vašu aplikaciju:

• „Prije nego što bilo šta promijeniš, reci mi šta si razumio i šta ćeš uraditi.”
• „Evo tačnog teksta politike; koristi ga doslovno, umjesto da izmišljaš detalje.”
• „Ne nagađaj činjenice poput cijena ili datuma. Ostavi mjesto i navedi ih za mene.”

Kada želite LLM unutar vaše aplikacije:

• „Dodaj dugme [sažmi] koje zove API [dobavljača] sa servera. Ključ čuvaj kao tajnu, nikad u pregledaču.”
• „Stavi naše politike u prompt da odgovori ostanu u njihovom okviru i neka kaže ‚ne znam’ kada nije sigurno.”
• „Ograniči koliko odgovori mogu biti dugi i ograniči koliko zahtjeva jedan korisnik može poslati dnevno.”
• „Zabilježi koliko je svaki zahtjev koštao da vidim potrošnju.”

Za korak po korak uputstvo pogledajte kako dodati AI funkcije u aplikaciju.

LLM-ovi i Mythex

Agent za pravljenje u Mythexu radi na LLM-u. Svi dobijaju isti Standard agent — nema izbora modela — a pravljenje troši Mythex kredite. AI funkcije unutar aplikacije koju pravite su odvojene: sami donosite API ključ od dobavljača poput OpenAI-ja ili Anthropica, čuvate ga kao tajnu projekta, a dobavljač vam direktno naplaćuje tu upotrebu. Recept u dokumentaciji dodaj AI u svoju aplikaciju pokazuje prompt koji treba koristiti.

Pitanja