Mi az LLM? Nagy nyelvi modellek egyszerűen elmagyarázva

Az LLM, vagyis nagy nyelvi modell (large language model) olyan AI, amelyet hatalmas mennyiségű szövegen tanítottak, hogy értse és generálja a nyelvet. Adott szöveg után megjósolja, mi következzen, apró darabonként, és ez az egyszerű képesség elegendőnek bizonyul kérdések megválaszolására, írásra, összefoglalásra, fordításra és kódírásra. A ChatGPT, a Claude és a Gemini mögött álló modellek mind LLM-ek.

Miért fontos, ha AI-val építesz

Ha AI-építővel dolgozol, kétszeresen találkozol LLM-mel. Először egy LLM építi az appot: olvassa a kérésedet, megtervezi a változtatásokat, és megírja a kódot. Másodszor lehet, hogy az appodon belül is szeretnél egy LLM-et — csevegőrobotot, összefoglaló gombot, írássegédet.

Az alapok megértése mindkét esetben segít. Megmagyarázza, miért érti félre az AI néha a homályos kérést, miért tud magabiztosan rossz dolgot írni, miért veszíti el hosszú beszélgetésekben a korábbi részleteket, és miért kerül pénzbe egy AI-funkció az appodban minden használat után. Nem kell hozzá matematika — elég egy józan mentális modell.

Egy hétköznapi hasonlat

Képzelj el valakit, aki elolvasott egy elképzelhetetlenül nagy könyvtárat — könyveket, weboldalakat, kézikönyveket, kódot, fórumokat —, és rendkívül jól tud bármilyen szövegrészt úgy folytatni, hogy az illeszkedjen. Adj neki egy e-mail elejét, és a te hangnemedben fejezi be. Kérdezel tőle valamit, és olyan választ ír, amilyen általában egy ilyen kérdést követ.

Viszont nincsenek jegyzetei, amelyeket ellenőrizhetne, és a könyvtár egy bizonyos dátumon bezárt. Mintákat idéz fel, nem nézi meg a tényeket. A legtöbbször a minták helyesek. Néha olyasmivel tölt ki egy rést, ami csak hangzik helyesen, ugyanolyan magabiztosan.

Ez egy LLM: nagyon olvasott, nagyon folyékony író, tökéletlen memóriával és beépített tényellenőr nélkül.

Hogyan működik egy LLM, egyszerűen

1. Tanítás. A modell hatalmas mennyiségű szöveget lát, és úgy tanul, hogy milliárdnyi belső számát (a paramétereit) finomhangolja, hogy megjósolja a következő szövegrészt. Az LLM-ek többsége az úgynevezett transzformer architektúrát használja, amelyet 2017-ben Google-kutatók mutattak be.
2. Finomhangolás. A nyers modellt ezután utasítások követésére, beszélgetésre és ártalmas kimenetek elkerülésére hangolják, gyakran emberi visszajelzéssel.
3. Használat (inferencia). Amikor elküldesz egy promptot, a modell beolvassa, és egy token után a következőt generálja, mindig a korábbi egész szöveg alapján választva a valószínű következő tokent.

A modellnek nincs tényadatbázisa a belsejében, és nem tanul tovább a csevegésedből. Amit egy beszélgetésben „tud”, az vagy a tanításból származik, vagy abból, ami éppen előtte van — a kontextusablakából.

Kidolgozott példa: egy ügyfélválasz

Tegyük fel, hogy online növényboltot üzemeltetsz, és ezt illeszted be egy LLM-be:

Egy vásárló ezt írja: „A #4412-es rendelésem törött cserépben érkezett. Mit tudnak tenni?” Szabályzatunk: a sérült terméket 14 napon belül ingyen cseréljük, ha az ügyfél küld egy fotót. Írj barátságos választ.

Ilyesmi történik:

• A szöveg tokenekre bomlik, nagyjából százra.
• A modell beolvassa az egészet: a vásárló üzenetét, a szabályzatodat és az utasításodat.
• Tokenenként generál választ: „Szia! Nagyon sajnálom, hogy törött cserépben érkezett…”, és kéri a fotót, megemlítve az ingyenes cserét.

Most próbáld meg ugyanezt a kérést a szabályzat nélkül. A modell akkor is magabiztos, barátságos választ ír — de lehet, hogy visszatérítést ígér, vagy 30 napos határidőt, mert ezek gyakori minták az általa látott ügyfélleveleken. Ez a hallucináció, és megmutatja a legfontosabb gyakorlati tanulságot az LLM-ekről: annyira pontosak, amennyire az információ, amit adsz nekik. Az olyan appoknak, amelyeknek megbízható válaszokra van szükségük, minden alkalommal a megfelelő forrásanyagot kell betölteniük a modellbe, ezt a technikát hívják RAG.

Kulcsfogalmak magyarázata

Gyakori hibák és tévhitek

• „Utánanéz a dolgoknak.” Egy sima LLM nem. Vannak appok, amelyek webes keresést vagy dokumentum-lekérést adnak hozzá, de maga a modell mintákból generál.
• „Ha magabiztosnak hangzik, akkor igaz.” A magabiztosság és a pontosság nem függ össze. Ellenőrizd a neveket, számokat, dátumokat, árakat, és mindent, ami jogi vagy orvosi.
• „Mindenre emlékszik, amit mondtam.” Csak arra, ami belefér a kontextusablakba. Nagyon hosszú beszélgetésekben a korai részletek kieshetnek, vagy kevesebb figyelmet kapnak. Ismételd meg, ami fontos.
• „Úgy gondolkodik, mint egy ember.” Lenyűgözően tud érvelni problémákon, de nincsenek céljai, hiedelmei vagy a következmények tudata. A kimenetét tervezetként kezeld, amelyet át kell nézni.
• „A nagyobb vagy újabb mindig jobb.” Egyszerű, nagy mennyiségű feladatnál egy kisebb, olcsóbb, gyorsabb modell gyakran a jobb választás.
• Személyes adatok ellenőrzés nélküli küldése. Mielőtt ügyféladatot illesztesz be bármilyen AI-szolgáltatásba, vagy beépítenéd egy appba, nézd meg a szolgáltató adathasználati és megőrzési feltételeit.

Mit kérj az AI-építődtől

Amikor az LLM építi az appodat:

• „Mielőtt bármit változtatnál, mondd el, mit értettél, és mit fogsz csinálni.”
• „Itt van a pontos szabályzati szöveg; használd szóról szóra, ne találj ki részleteket.”
• „Ne találgass tényeket, például árakat vagy dátumokat. Hagyj helyőrzőt, és sorold fel nekem őket.”

Amikor LLM-et szeretnél az appodba:

• „Adj egy [összefoglalás] gombot, amely a szerverről hívja a [szolgáltató] API-ját. Az API-kulcs titokban legyen, soha ne a böngészőben.”
• „Tedd a szabályzatainkat a promptba, hogy a válaszok azokhoz igazodjanak, és mondja, hogy »nem tudom«, ha bizonytalan.”
• „Korlátozd a válaszok hosszát, és egy felhasználó naponta csak meghatározott számú kérést küldhessen.”
• „Naplózd, mennyibe került minden kérés, hogy lássam a használatot.”

Lépésről lépésre útmutatóért lásd: hogyan adj AI-funkciókat az appodhoz.

LLM-ek a Mythexben

A Mythex építő ügynöke LLM-en fut. Mindenki ugyanazt a Standard ügynököt kapja — nincs modellválasztó —, az építés pedig Mythex-krediteket használ. Az appon belüli AI-funkciók ettől külön működnek: a saját API-kulcsodat hozod egy szolgáltatótól, például az OpenAI-tól vagy az Anthropictől, projekttitokként tárolod, és a használatot közvetlenül a szolgáltató számlázza. A AI-funkciók hozzáadása az appodhoz dokumentációs recept megmutatja a használandó promptot.

Kérdések