Що таке LLM? Великі мовні моделі простими словами

LLM, або велика мовна модель, — це тип ШІ, навчений на величезних обсягах тексту, щоб розуміти і генерувати мову. Отримавши текст, вона передбачає, що має йти далі, по одному маленькому фрагменту за раз, і ця проста здатність виявляється достатньою, щоб відповідати на запитання, писати, підсумовувати, перекладати і писати код. Моделі, на яких працюють ChatGPT, Claude і Gemini, є LLM.

Чому це важливо, коли ви створюєте з ШІ

Якщо ви створюєте з ШІ-конструктором застосунків, ви працюєте з LLM двічі. По-перше, LLM і є тим, що створює застосунок: вона читає ваш запит, планує зміни і пише код. По-друге, ви можете захотіти використати LLM всередині вашого застосунку — чат-бота, кнопку підсумку, помічника для написання текстів.

Розуміння основ допомагає в обох випадках. Воно пояснює, чому ШІ інколи неправильно розуміє розпливчастий запит, чому може впевнено видати щось хибне, чому довгі розмови можуть призвести до втрати деталей з початку і чому додавання функцій ШІ до застосунку коштує грошей за кожне використання. Вам не потрібна математика — лише правильна модель мислення.

Побутова аналогія

Уявіть собі людину, яка прочитала неймовірно велику бібліотеку — книжки, сайти, інструкції, код, форуми — і стала надзвичайно добре продовжувати будь-який текст так, щоб він пасував. Дайте їй початок листа — і вона допише його вашим тоном. Поставте запитання — і вона напише відповідь такого типу, яка зазвичай іде за таким запитанням.

Але в неї немає нотаток для перевірки, а бібліотека закрилася в певну дату. Вона відтворює закономірності, а не шукає інформацію. Здебільшого закономірності правильні. Інколи вона заповнює прогалину тим, що лише звучить правдоподібно, з тією самою впевненістю.

Це і є LLM: дуже начитаний, напрочуд плавний письменник з недосконалою пам'яттю і без вбудованої перевірки фактів.

Як працює LLM простими словами

1. Навчання. Модель отримує величезні обсяги тексту і вчиться, коригуючи мільярди внутрішніх чисел (її параметрів), передбачати наступний фрагмент тексту. Архітектура, яку використовує більшість LLM, називається трансформер; її запропонували дослідники Google у 2017 році.
2. Донавчання. Сира модель далі вдосконалюється, щоб виконувати інструкції, вести розмову і уникати шкідливих відповідей, часто з використанням людського зворотного зв'язку.
3. Використання (інференс). Коли ви надсилаєте промпт, модель його читає і генерує відповідь по одному токену, щоразу обираючи ймовірний наступний токен з урахуванням усього, що було раніше.

Усередині неї немає бази фактів, і вона не вчиться далі з вашого чату. Усе, що вона «знає» у розмові, або походить із навчання, або з того, що зараз перед нею, — її контекстного вікна.

Практичний приклад: відповідь у підтримку

Скажімо, ви маєте інтернет-магазин рослин і вставляєте в LLM таке:

Клієнт пише: «Моє замовлення #4412 прийшло з розбитим горщиком. Що ви можете зробити?» Наша політика: ми безкоштовно замінюємо пошкоджені товари протягом 14 днів, якщо клієнт надішле фото. Напиши дружню відповідь.

Ось що відбувається:

• Текст розбивається на токени, їх приблизно сто.
• Модель читає все: повідомлення клієнта, вашу політику і ваш запит.
• Вона генерує відповідь токен за токеном: «Вітаємо! Дуже шкода, що горщик прийшов розбитим…» і просить фото, згадуючи безкоштовну заміну.

А тепер спробуйте той самий запит без політики. Модель все одно напише впевнену, дружню відповідь — але може пообіцяти повернення коштів або 30-денний термін, бо це поширені закономірності в листах служби підтримки, які вона бачила. Це і є галюцинація, і це демонструє найпрактичніший урок про LLM: вони точні лише настільки, наскільки точна інформація, яку ви їм даєте. Застосунки, яким потрібні надійні відповіді, щоразу подають моделі правильний вихідний матеріал — технікою, яка називається RAG.

Ключові терміни

Поширені помилки і хибні уявлення

• «Вона щось шукає». Звичайна LLM цього не робить. Деякі застосунки додають пошук в інтернеті або пошук у документах, але сама модель генерує відповіді на основі закономірностей.
• «Якщо звучить упевнено, то правильно». Впевненість і точність не пов'язані. Перевіряйте імена, числа, дати, ціни і все юридичне або медичне.
• «Вона пам'ятає все, що я казав». Лише те, що вміщується в контекстне вікно. У дуже довгих розмовах ранні деталі можуть випасти або отримувати менше уваги. Повторюйте те, що важливо.
• «Вона мислить як людина». Вона може вражаюче міркувати над задачами, але в неї немає цілей, переконань чи усвідомлення наслідків. Ставтеся до її виходу як до чернетки, яку треба перевірити.
• «Більший або новіший завжди кращий». Для простого масового завдання менша, дешевша і швидша модель часто є правильним вибором.
• Надсилати приватні дані, не перевіривши. Перш ніж вставляти дані клієнтів у будь-який сервіс ШІ або вбудовувати їх у застосунок, перевірте умови використання і зберігання даних провайдера.

Що попросити у вашого ШІ-конструктора

Коли LLM створює ваш застосунок:

• «Перш ніж щось змінювати, скажи мені, що ти зрозумів і що зробиш.»
• «Ось точний текст політики; використовуй його дослівно, а не вигадуй деталі.»
• «Не вгадуй фактів, як-от ціни чи дати. Залиш заповнювач і перелічи їх мені.»

Коли ви хочете LLM всередині вашого застосунку:

• «Додай кнопку [підсумувати], яка викликає API [провайдера] з сервера. Тримай API-ключ у секреті, ніколи в браузері.»
• «Вмісти наші політики в промпт, щоб відповіді їх дотримувалися, і нехай вона каже «не знаю», коли не впевнена.»
• «Обмеж довжину відповідей і кількість запитів від одного користувача на день.»
• «Записуй, скільки коштував кожен запит, щоб я бачив використання.»

Покрокові інструкції див. у посібнику як додати функції ШІ до вашого застосунку.

LLM і Mythex

Агент побудови в Mythex працює на LLM. Усі отримують один і той самий Standard-агент — вибору моделі немає — а побудова витрачає кредити Mythex. Функції ШІ всередині застосунку, який ви створюєте, окремі: ви використовуєте власний API-ключ від провайдера, як-от OpenAI або Anthropic, зберігаєте його як секрет проєкту, а провайдер виставляє рахунок за це використання безпосередньо вам. Рецепт з документації додати ШІ до вашого застосунку показує, який промпт використовувати.

Запитання