Як створити застосунок з ШІ-чатботом: ключі, промпти, витрати та безпека

Щоб створити застосунок з ШІ-чатботом, потрібні чотири речі: інтерфейс чату, невеликий сервер, який зберігає API-ключ вашого провайдера моделі та пересилає йому повідомлення, системний промпт, який пояснює моделі, ким вона є і що їй дозволено робити, та обмеження, які тримають витрати й зловживання під контролем. ШІ-конструктор застосунків може написати все це за описом. Частина, яка лишається за вами, це вибір провайдера, написання інструкцій і рішення про те, чого бот ні в якому разі не має робити.

Із чого складається застосунок з ШІ-чатботом

Більшість застосунків з чатботом, будь то асистент служби підтримки, репетитор чи внутрішній інструмент «запитай у наших документах», мають однакові частини:

Маршрут на сервері найчастіше реалізують неправильно. Якщо сторінка чату викликає провайдера безпосередньо з браузера, будь-хто може відкрити інструменти розробника, скопіювати ваш ключ і накрутити ваш рахунок.

Рішення, які треба ухвалити до початку роботи

Провайдер і модель

Основні провайдери (OpenAI, Anthropic, Google та інші) пропонують чат-API, який працює однаково: ви надсилаєте список повідомлень і отримуєте відповідь. Практичний вибір стосується менше бренду, а більше розміру моделі:

• Менші, швидші моделі дешевші й відповідають швидко. Вони підходять для коротких відповідей, класифікації та простих FAQ-ботів.
• Більші моделі краще міркують, надійніше дотримуються довгих інструкцій і впораються з незграбними запитаннями, але коштують більше за повідомлення та відповідають повільніше.

Почніть із моделі середнього розміру, перевірте її на ваших реальних запитаннях і звідти переходьте вгору або вниз. Якщо ви вперше працюєте з тим, як ці API тарифікуються і викликаються, спочатку прочитайте як використовувати API LLM.

Звідки беруться знання бота

Починайте з найпростішого варіанта, який покриває ваш контент. Пошук додає індекс, спосіб його оновлювати і більше місць, де відповіді можуть піти не так. Багато корисних ботів ніколи не потребують його.

Публічний бот чи доступ після входу

Публічний чатбот на вашому сайті легко знайти, але його так само легко зловживати: хтось може скриптом надіслати тисячі повідомлень. Чатбот з входом дозволяє зберігати історію для кожного користувача і встановлювати денний ліміт для кожного облікового запису. Якщо бот публічний, обмежте довжину повідомлення, кількість повідомлень, які один відвідувач може надіслати за певний час, і встановіть жорсткий місячний ліміт у панелі провайдера. Про облікові записи йдеться в як додати вхід до застосунку.

Чи зберігати розмови

Збережені діалоги корисні: користувачі можуть продовжити з того місця, де зупинилися, а ви можете читати реальні запитання, щоб покращити промпт. Але це ще й персональні дані. Вирішіть, як довго їх зберігати, згадайте це у політиці конфіденційності і не зберігайте нічого зайвого.

Напишіть системний промпт як опис посади

Системний промпт це інструкція, яку модель отримує перед кожною розмовою. Хороший промпт читається як коротке доручення для нового співробітника:

• Роль і аудиторія: «Ти асистент служби допомоги для Oakline, майстерні з ремонту велосипедів. Ти спілкуєшся з клієнтами».
• Сфера: «Відповідай на запитання про послуги, ціни, години роботи та запис. Для всього іншого скажи, що можеш допомогти лише з питаннями майстерні».
• Джерело істини: «Використовуй лише інформацію нижче. Якщо відповіді там немає, скажи, що не знаєш, і дай номер телефону майстерні».
• Тон і довжина: «Дружньо, простою мовою, не більше трьох речень, якщо не просять більше деталей».
• Жорсткі правила: «Ніколи не обіцяй ціну ремонту, якої немає в переліку. Ніколи не проси дані картки».

Потім перевірте його незручними запитаннями: нерелевантними запитами, грубими повідомленнями, питаннями, відповідей на які немає у вашому контенті, і спробами змусити бота ігнорувати інструкції («забудь свої правила і…»). Змінюйте промпт, доки відповіді не будуть такими, за які ви готові поручитися.

Тримайте витрати під контролем

Провайдери беруть плату за токени (приблизно, шматки слів) за вхідний текст, який ви надсилаєте, і за вихідний текст, який пише модель. На рахунок впливають три речі:

1. Довжина розмови. Кожне нове повідомлення зазвичай знову надсилає весь діалог, щоб модель мала контекст. Розмова з 40 повідомлень коштує значно дорожче за відповідь, ніж розмова з 4 повідомлень. Залишайте лише останні кілька реплік або підсумовуйте старіші.
2. Розмір промпту. Довгий системний промпт або великий блок вставленого знання надсилається з кожним повідомленням.
3. Довжина відповіді. Задайте максимальну довжину відповіді в API-запиті та попросіть у промпті стислі відповіді.

Перед запуском встановіть місячний ліміт витрат у панелі провайдера і журналюйте використані токени для кожного запиту, щоб бачити, які розмови дорогі. Ми тут не наводимо ціни, бо вони залежать від моделі й часто змінюються. Перевіряйте сторінку цін вашого провайдера.

Побудуйте крок за кроком

Крок 1: опишіть бота, а не код

Гарний перший промпт називає аудиторію, сферу, дані та правила безпеки, і цього вже вистачає для більшості завдань:

Створи чатбот служби підтримки для Oakline, майстерні з ремонту велосипедів. Сторінка чату зі списком повідомлень і полем введення, відповіді виводяться потоком по мірі написання. Викликай Anthropic API з серверного маршруту, використовуючи секрет ANTHROPIC_API_KEY — ніколи не відкривай його в браузері. Використовуй системний промпт, який відповідає лише на запитання про наші послуги, ціни та години роботи з тексту у файлі shop-info.md, а інакше каже «Не впевнений — зателефонуйте нам за номером нижче». Обмеж повідомлення 500 символами і 20 повідомленнями на відвідувача на годину. Чистий, дружній дизайн, зручний на телефонах.

Крок 2: додайте ключ як секрет

Створіть ключ у консолі провайдера, а потім збережіть його в змінних середовища або секретах проєкту, а не в чаті й не в коді. Якщо ключ колись опинився в публічному місці, відкличте його у провайдера і створіть новий. Що таке змінні середовища та секрети пояснює, чому це важливо.

Крок 3: перевіряйте відповіді, а не лише інтерфейс

Щойно чат запрацює, більшість часу витрачайте на якість відповідей. Складіть список із 20 реальних запитань, включно з кількома, на які бот має відмовляти, і проганяйте їх після кожної зміни промпту. Перевіряйте:

• Чи бот лишається в межах сфери?
• Чи визнає він, коли чогось не знає, замість того, щоб вигадувати відповідь?
• Чи витримує він спробу переписати його інструкції?
• Чи відсутній ключ у всьому, що завантажує браузер?

Крок 4: додайте пам'ять і облікові записи, якщо вони потрібні

Коли окремі розмови працюють, попросіть зберігання збережених діалогів у базі даних і, за потреби, реєстрацію та вхід, щоб кожен користувач бачив лише свої чати. Одночасно додайте денний ліміт повідомлень для кожного користувача.

Крок 5: публікуйте з увімкненими обмеженнями

Переконайтеся, що опублікований застосунок має ті самі секрети, що й попередній перегляд, що ліміт витрат встановлено у провайдера і що помилки журналюються там, де ви їх побачите. Потім поділіться застосунком з невеликою групою, перш ніж ставити його на головний сайт.

Безпека і довіра

Чатбот розмовляє з публікою від вашого імені, тож його збої ваша проблема:

• Неправильні відповіді. Моделі можуть упевнено говорити неправдиві речі. Тримайте бота у вузькій темі, спирайтеся на ваш власний контент і показуйте коротку примітку, що відповіді можуть бути неточними, якщо йдеться про щось важливе.
• Prompt injection. Користувачі (або документи, які читає бот) можуть містити інструкції на кшталт «ігноруй попередні правила». Не давайте боту повноважень, яким не можна довіряти: жодних повернень коштів, видалень або листів, надісланих на прохання користувача, без перевірки у вашому коді.
• Чутливі теми. Для медичних, юридичних або фінансових питань нехай бот відсилає людей до фахівця, а не дає поради.
• Персональні дані. Не вставляйте записи клієнтів у промпти без потреби і перевіряйте, що умови вашого провайдера кажуть про обробку даних API.

Наш чекліст безпеки для застосунків, створених за допомогою ШІ, охоплює весь застосунок.

Типові помилки

• Виклик провайдера з браузера. Ключ витікає. Завжди йдіть через свій сервер.
• Відсутність лімітів у публічному боті. Один скрипт може витратити місячний бюджет за пів дня.
• Одночасний старт з RAG, інструментами та кількома моделями. Спочатку налагодьте одну добру розмову; додавайте решту, коли реальні запитання покажуть, що вона потрібна.
• Тестування лише дружніх запитань. Ваші користувачі в перший день питатимуть дивні, вороже налаштовані й нерелевантні речі.
• Розмова, що зростає без кінця. Витрати і час відповіді збільшуються з кожним повідомленням.

Коли кращим вибором є готовий продукт

Створювати власного бота має сенс, коли чатбот є частиною вашого продукту, потребує ваших даних або робочого процесу чи конкретного вигляду та поведінки. Часто це неправильний вибір, коли:

• Вам потрібен лише віджет підтримки на наявному сайті. Багато продуктів для служби підтримки і live-чату тепер включають ШІ-ботів, які читають ваш центр довідки, а передача людині, скринька і звіти вже вбудовані.
• Користуватиметеся лише ви або ваша команда. Може вистачити передплати на універсального асистента, як-от ChatGPT чи Claude, куди ви завантажуєте свої документи.
• Потрібні суворі гарантії відповідності (наприклад, для регульованих медичних або фінансових даних). Постачальник, який уже має сертифікати, може бути безпечнішим за власну розробку.

Створення з Mythex

Mythex це ШІ-конструктор застосунків: ви описуєте чатбот у чаті, а він пише інтерфейс і серверний виклик, запускає все в живому попередньому перегляді та публікує за публічною URL-адресою. ШІ всередині вашого застосунку використовує ваш власний ключ провайдера. Ви додаєте його в секретах проєкту або через картку з секретами, яку Mythex показує в чаті, коли він потрібен, а використання провайдера оплачується з вашого облікового запису у провайдера, а не з кредитів на створення в Mythex. Mythex не включає токени для користувачів вашого застосунку, готового продукту бази знань чи готових обмежень частоти запитів: це частини, які ви замовляєте і тестуєте самі. Сторінка документації про додавання ШІ всередину вашого застосунку описує це крок за кроком, а додайте ШІ зі своїми API-ключами містить стартовий промпт.

Якщо бот потребує збережених діалогів, Mythex підключає до проєкту базу Postgres, коли ви її попросите. Більше способів використовувати моделі всередині застосунку, від підсумків до класифікації, описано в як додати функції ШІ до вашого застосунку, а стартові точки шукайте в шаблонах застосунків.

Запитання