Што е LLM? Големите јазични модели објаснети едноставно

LLM, или голем јазичен модел, е вид AI обучен на огромни количини текст за да може да разбира и создава јазик. Кога ќе му дадете текст, предвидува што треба да следи, по едно мало парче во исто време, а таа едноставна способност се покажува доволна за одговарање на прашања, пишување, резимирање, превод и пишување код. Моделите зад ChatGPT, Claude и Gemini се сите LLM.

Зошто е важно кога градите со AI

Ако градите со AI градител на апликации, работите со LLM на два начина. Прво, LLM е оној што гради: ги чита вашите барања, планира измени и го пишува кодот. Второ, можеби сакате LLM внатре во вашата апликација — chatbot, копче за резиме, асистент за пишување.

Основното знаење ви помага во двата случаја. Објаснува зошто AI понекогаш погрешно разбира нејасно барање, зошто може самоуверено да произведе нешто погрешно, зошто долги разговори можат да го натераат да ги изгуби претходните детали, и зошто додавањето AI функции во вашата апликација чини пари по секоја употреба. Не ви треба математика — само здрав ментален модел.

Секојдневна аналогија

Замислете некој што прочитал непојмливо голема библиотека — книги, веб-страници, прирачници, код, форуми — и станал извонредно добар во продолжување на секој текст на начин што одговара. Дадете му почеток на е-пошта и ќе ја заврши во вашиот тон. Поставете прашање и ќе напише одговор од видот што обично следи таково прашање.

Но тој нема белешки да проверува, а библиотеката се затворила на одреден датум. Тој се потсетува на обрасци, не пребарува работи. Повеќето пати обрасците се точни. Понекогаш пополнува празнина со нешто што само звучи точно, со истата самоуверност.

Тоа е LLM: многу начитан, многу течен писател со несовршена меморија и без вграден проверувач на факти.

Како работи LLM, едноставно речено

1. Обука. На моделот му се прикажуваат огромни количини текст и учи, приспособувајќи милијарди внатрешни броеви (неговите параметри), да го предвиди следниот дел од текстот. Дизајнот што го користат повеќето LLM-ови се вика трансформер, воведен од истражувачи на Google во 2017 година.
2. Дотерување. Суровиот модел потоа се усовршува за да следи упатства, одржува разговор и избегнува штетна содржина, често користејќи човечки повратни информации.
3. Користење (инференција). Кога ќе испратите барање, моделот го чита и создава одговор по токен, при секое избирајќи веројатен следен токен со оглед на сѐ што било пред него.

Во себе нема база на податоци со факти, и не учи понатаму од вашиот разговор. Сѐ што „знае“ во разговорот е или од обуката, или од она што е пред него во тој момент — неговиот контекстен прозорец.

Работен пример: одговор до поддршка

Нека управувате со онлајн продавница за растенија и во LLM ја залепите оваа порака:

Клиент пишува: „Мојата нарачка #4412 стигна со расипан сад. Што можете да направите?“ Нашата политика: оштетените производи ги заменуваме бесплатно во рок од 14 дена ако клиентот испрати фотографија. Напиши пријателски одговор.

Еве што се случува:

• Текстот се дели на токени, можеби стотина-пак.
• Моделот го чита целото: пораката на клиентот, вашата политика и вашето упатство.
• Создава одговор токен по токен: „Здраво! Многу ни е жал што садот стигнал расипан…“ и бара фотографија, спомнувајќи ја бесплатната замена.

Сега пробајте го истото барање без политиката. Моделот и понатаму ќе напише самоуверен, пријателски одговор — но можеби ветува враќање на пари или рок од 30 дена, бидејќи тоа се вообичаени обрасци во е-пораки за поддршка што ги видел. Тоа е халуцинација, и покажува најпрактичната лекција за LLM-овите: точни се онолку колку и информациите што им ги давате. Апликациите што бараат сигурни одговори му ги даваат на моделот вистинскиот изворен материјал секој пат, техника наречена RAG.

Клучни термини објаснети

Вообичаени грешки и погрешни верувања

• „Пребарува работи.“ Обичниот LLM не го прави тоа. Некои апликации додаваат веб-пребарување или пронаоѓање документи, но самиот модел генерира од обрасци.
• „Ако звучи сигурно, точно е.“ Самоуверноста и точноста не се поврзани. Проверувајте имиња, броеви, датуми, цени и сѐ правно или медицинско.
• „Ја памети сѐ што сум рекол.“ Само она што се вклопува во контекстниот прозорец. Во многу долги разговори, раните детали можат да испаднат или да добијат помалку внимание. Повторете го важното.
• „Размислува како човек.“ Може впечатливо да расудува за проблеми, но нема цели, верувања или свест за последиците. Третирајте го неговиот излез како нацрт за преглед.
• „Поголемо или поново е секогаш подобро.“ За едноставна задача со голем обем, помал, поевтин и побрз модел често е вистинскиот избор.
• Испраќање приватни податоци без проверка. Пред да залепите податоци за клиенти во која било AI услуга или да ги вградите во апликација, проверете ги условите на давателот за користење и задржување на податоците.

Што да побарате од вашиот AI градител

Кога LLM-от ја гради вашата апликација:

• „Пред да смениш нешто, кажи ми што си разбрал и што ќе направиш.“
• „Еве го точниот текст на политиката; користи го збор по збор, а не измислувај детали.“
• „Не погодувај факти како цени или датуми. Остави место и наведи ги за мене.“

Кога сакате LLM внатре во вашата апликација:

• „Додај копче [сумирај] што го повикува API-то на [давател] од серверот. Чувај го API клучот во тајна, никогаш во прелистувачот.“
• „Стави ги нашите политики во барањето за одговорите да се држат до нив, и кажи „не знам“ кога не си сигурен.“
• „Ограничи колку долги можат да бидат одговорите и ограничи колку барања може еден корисник да испрати дневно.“
• „Запишувај колку чинеше секое барање за да го видам користењето.“

За чекор-по-чекор упатство, видете како да додадете AI функции во вашата апликација.

LLM-овите и Mythex

Агентот за градење на Mythex работи на LLM. Сите добиваат ист Standard агент — нема избор на модел — а градењето троши кредити на Mythex. AI функциите внатре во апликацијата што ја градите се одделни: го донесувате својот API клуч од давател како OpenAI или Anthropic, го чувате како тајна на проектот, а давателот директно ви наплаќа за таа употреба. Рецептот во документацијата додај AI во твојата апликација го покажува барањето што треба да се користи.

Прашања