Mis on LLM? Suured keelemudelid lihtsalt selgitatuna

LLM ehk suur keelemudel on tehisintellekti tüüp, mis on treenitud tohutul hulgal tekstil, et mõista ja genereerida keelt. Antud teksti põhjal ennustab ta, mis peaks järgima, ühe väikese tükikese kaupa, ja see lihtne võime piisab vastamiseks küsimustele, kirjutamiseks, kokkuvõtete tegemiseks, tõlkimiseks ja koodi kirjutamiseks. ChatGPT, Claude ja Gemini taga olevad mudelid on kõik LLM-id.

Miks see tehisintellektiga ehitades oluline on

Kui ehitad AI-rakenduste ehitajaga, töötad LLM-iga kahel viisil. Esiteks teeb LLM ehitamise: loeb su päringut, planeerib muudatusi ja kirjutab koodi. Teiseks võid tahta LLM-i oma rakenduse sees — vestlusroboti, kokkuvõtte nupu, kirjutamisabilise.

Põhitõdede mõistmine aitab mõlemal juhul. See selgitab, miks AI mõnikord valesti mõistab ebamäärast päringut, miks ta võib kindlalt toota midagi valet, miks pikad vestlused võivad panna teda varasemaid detaile kaotama ja miks AI-funktsioonide lisamine rakendusele maksab iga kasutuse eest. Matemaatikat ei pea teadma — piisab heast mudelist mõtteviisis.

Igapäevane näide

Kujuta ette inimest, kes on lugenud uskumatult suure raamatukogu — raamatud, veebilehed, juhendid, kood, foorumid — ning on saanud äärmiselt heaks selles, et jätkab igasugust kirjutist sobival viisil. Anna talle e-kirja algus ja ta lõpetab selle sinu tooni järgi. Esita küsimus ja ta kirjutab sellist vastust, mis tavaliselt sellisele küsimusele järgneb.

Aga tal ei ole märkmeid, mida kontrollida, ja raamatukogu sulgus teatud kuupäeval. Ta meenutab mustreid, mitte ei otsi asju üles. Enamasti on mustrid õiged. Mõnikord täidab ta lünga millegagi, mis kõlab õigesti, sama kindla tooniga.

See ongi LLM: väga hästi loetud, väga sujuv kirjutaja ebatäiusliku mäluga ja ilma sisseehitatud faktikontrollijata.

Kuidas LLM töötab lihtsas keeles

1. Treenimine. Mudelile näidatakse tohutul hulgal tekste ja ta õpib, kohandades miljardeid oma sisemisi numbreid (parameetreid), ennustama järgmist tekstitükki. Enamiku LLM-ide kasutatav disain on nimega transformer, mille tutvustasid Google'i teadlased 2017. aastal.
2. Peenhäälestus. Toorest mudelit täpsustatakse, et ta järgiks juhiseid, hoiaks vestlust ja väldiks kahjulikku väljundit, sageli inimeste tagasiside abil.
3. Kasutamine (järeldamine, inference). Kui saadad päringu, loeb mudel selle ja genereerib vastuse ühe tokeni kaupa, igal korral valides tõenäolise järgmise tokeni kõige eelneva põhjal.

Seest pole tal faktide andmebaasi ja ta ei õpi su vestlustest edasi. Kõik, mida ta vestluses „teab“, pärineb kas treeningust või sellest, mis on tema ees praegu — tema kontekstiaknast.

Töötav näide: klienditoe vastus

Oletame, et käitad veebipoodi taimedega ja kleebid LLM-i järgmise:

Klient kirjutab: „Minu tellimus nr 4412 saabus katkise potiga. Mida saate teha?“ Meie poliitika: kahjustatud tooted asendame tasuta 14 päeva jooksul, kui klient saadab foto. Kirjuta sõbralik vastus.

Siin juhtub järgmine:

• Tekst jagatakse tokeniteks, ehk umbes sadaks.
• Mudel loeb kogu asja: kliendi sõnumi, sinu poliitika ja sinu juhise.
• Ta genereerib vastuse token-token-haaval: „Tere! Vabandan väga, et pott saabus katkisena…“ ja palub fotot, mainides tasuta asendust.

Nüüd proovi sama päringut ilma poliitikata. Mudel kirjutab ikka kindla ja sõbraliku vastuse — aga ta võib lubada raha tagasi või 30-päevast akent, sest need on tavalised mustrid klienditoe kirjades, mida ta on näinud. See on hallutsinatsioon, ja see näitab kõige praktilisemat õppetundi LLM-ide kohta: nad on täpsed ainult sellisel määral, kui täpset infot sa neile annad. Rakendused, mis vajavad usaldusväärseid vastuseid, söödavad mudelile iga kord õiget lähtematerjali — tehnika nimega RAG.

Põhimõisted selgitatuna

Levinud vead ja väärarusaamad

• „Ta otsib asju üles.“ Tavaline LLM ei tee seda. Mõned rakendused lisavad veebiotsingu või dokumentide otsingu, kuid mudel ise genereerib mustrite põhjal.
• „Kui kõlab kindlalt, on see õige.“ Kindlus ja täpsus ei ole seotud. Kontrolli nimesid, numbreid, kuupäevi, hindu ning kõike õigusliku või meditsiinilise kohta.
• „Ta mäletab kõike, mida ütlesin.“ Ainult seda, mis mahub kontekstiaknasse. Väga pikkades vestlustes võivad varasemad detailid kaduda või saada vähem tähelepanu. Korda uuesti, mis on oluline.
• „Ta mõtleb nagu inimene.“ Ta suudab keerulisi probleeme muljetavaldavalt läbi mõelda, kuid tal ei ole eesmärke, veendumusi ega teadlikkust tagajärgedest. Käsitle tema väljundit mustandina, mida tuleb üle vaadata.
• „Suurem või uuem on alati parem.“ Lihtsa ja suure mahuga ülesande jaoks on sageli õige valik väiksem, odavam ja kiirem mudel.
• Privaatsete andmete saatmine ilma kontrollimata. Enne kui paned kliendiandmed mõnda AI-teenusesse või ehitad need rakendusse, kontrolli pakkuja andmekasutuse ja säilitamise tingimusi.

Mida paluda oma AI-ehitajalt

Kui LLM ehitab su rakendust:

• „Enne kui midagi muudad, ütle mulle, mida sa mõistsid ja mida teed.“
• „Siin on täpne poliitikatekst; kasuta seda sõna-sõnalt, mitte ära mõtle detaile välja.“
• „Ära oleta faktide, nagu hindade või kuupäevade kohta. Jäta kohahoidja ja loetle need mulle.“

Kui tahad LLM-i oma rakenduse sisse:

• „Lisa [kokkuvõtte] nupp, mis kutsub [pakkuja] API-d serverist. Hoia API-võti salajas, mitte brauseris.“
• „Pane meie poliitikad päringusse, et vastused jääksid nende piiridesse, ja ütle „ma ei tea“, kui ei ole kindel.“
• „Piira, kui pikad vastused võivad olla, ja piira, mitu päringut üks kasutaja päevas teha saab.“
• „Logi iga päringu maksumus, et näeksin kasutust.“

Sammhaaval juhendi saamiseks vaata kuidas lisada AI-funktsioone oma rakendusele.

LLM-id ja Mythex

Mythexi ehitusagent töötab LLM-il. Kõik saavad sama Standard-agendi — mudelivalijat ei ole — ja ehitamine kasutab Mythexi krediite. Rakenduse sees olevad AI-funktsioonid on eraldi: sul on oma API-võti pakkujalt nagu OpenAI või Anthropic, hoiad seda projekti saladusena ja pakkuja arveldab selle kasutuse sulle otse. Dokumentatsiooni retsept lisa AI oma rakendusele näitab, milline prompt kasutada.

Küsimused