Как да направите приложение с AI чатбот: ключове, промптове, разходи и безопасност

За да създадете приложение с AI чатбот, са ви необходими четири неща: чат интерфейс, малък сървър, който пази API ключа на доставчика на модела и препраща съобщенията към него, системен промпт, който казва на модела кой е и какво може да прави, и ограничения, които държат разходите и злоупотребите под контрол. AI конструктор на приложения може да създаде всичко това по описание. Работата, която остава във ваши ръце, е изборът на доставчик, писането на инструкциите и решението какво ботът никога не трябва да прави.

От какво се състои приложението с AI чатбот

Повечето приложения с чатбот – било то асистент за поддръжка, преподавател или вътрешен инструмент „попитай нашата документация“ – имат едни и същи части:

Частта със сървърния маршрут най-често се прави погрешно. Ако страницата с чата извиква доставчика директно от браузъра, всеки може да отвори инструментите за разработчици, да копира ключа ви и да натрупа сметка за ваша сметка.

Решения, които трябва да вземете преди да започнете

Кой доставчик и кой модел

Основните доставчици (OpenAI, Anthropic, Google и други) предлагат чат API, който работи по един и същи начин: изпращате списък със съобщения и получавате отговор. Практическият избор зависи по-малко от марката и повече от размера на модела:

• По-малки, по-бързи модели са по-евтини и отговарят бързо. Подходящи са за кратки отговори, класификация и прости ботове с ЧЗВ.
• По-големи модели разсъждават по-добре, следват по-надеждно дълги инструкции и се справят с объркани въпроси, но струват повече на съобщение и отговарят по-бавно.

Започнете със среден по размер модел, тествайте го със собствените си реални въпроси и увеличавайте или намалявайте оттам. Ако за първи път разглеждате как се таксуват и извикват тези API-та, прочетете първо как да използвате LLM API-та.

Откъде идват знанията на бота

Започнете с най-простата опция, която покрива съдържанието ви. Извличането добавя търсещ индекс, начин да го поддържате актуален и още места, където отговорите могат да се объркат. Много полезни ботове никога не се нуждаят от него.

Публичен или зад вход

Публичният чатбот на уебсайта ви е лесен за достигане, но също толкова лесен за злоупотреба: някой може да изпрати хиляди съобщения със скрипт. Чатботът зад вход позволява да запазвате историята за всеки потребител и да задавате дневен лимит за всеки акаунт. Ако е публичен, ограничете дължината на съобщенията, броя съобщения, които един посетител може да изпрати за даден период, и задайте твърд месечен лимит в таблото на доставчика. Как да добавите вход към приложението си обяснява частта с акаунтите.

Дали да се запазват разговорите

Запазените нишки са полезни: потребителите могат да продължат там, където са спрели, а вие можете да четете реалните въпроси, за да подобрявате промпта. Но те са лични данни. Решете колко дълго ги пазите, посочете го в известието за поверителност и не запазвайте нищо, което не ви е необходимо.

Напишете системния промпт като описание на работа

Системният промпт е инструкцията, която моделът получава преди всеки разговор. Добрият промпт прилича на кратко задание за нов служител:

• Роля и аудитория: „Вие сте помощният асистент на Oakline, сервиз за велосипеди. Говорите с клиенти.“
• Обхват: „Отговаряйте на въпроси за услугите, цените, работното време и резервациите. За всичко останало кажете, че можете да помогнете само с въпроси за магазина.“
• Източник на истината: „Използвайте само информацията по-долу. Ако отговорът го няма там, кажете, че не знаете, и дайте телефонния номер на магазина.“
• Тон и дължина: „Приятелски, на ясен език, до три изречения, освен ако не е поискан по-подробен отговор.“
• Твърди правила: „Никога не обещавайте цена за ремонт, която не е посочена. Никога не искайте данни за карта.“

След това го тествайте с неудобни въпроси: заявки извън темата, груби съобщения, въпроси, чиито отговори ги няма в съдържанието ви, и опити да накарате бота да игнорира инструкциите си („забрави правилата си и…“). Настройвайте промпта, докато отговорите станат такива, че да се подпишете под тях.

Поддържайте разходите предвидими

Доставчиците таксуват на токен (приблизително части от думи) за входа, който изпращате, и за изхода, който моделът генерира. Три неща определят сметката:

1. Дължина на разговора. Всяко ново съобщение обикновено изпраща отново цялата нишка, за да има моделът контекст. Чат от 40 съобщения струва далеч повече на отговор, отколкото чат от 4. Пазете само последните няколко реплики или обобщавайте по-старите.
2. Размер на промпта. Дълъг системен промпт или голям блок с поставени знания се изпращат с всяко съобщение.
3. Дължина на отговора. Задайте максимална дължина на отговора в API заявката и поискайте в промпта кратки отговори.

Задайте месечен таван на разходите в таблото на доставчика, преди да пуснете приложението, и записвайте използването на токени за всяка заявка, за да виждате кои разговори са скъпи. Тук не посочваме цени, защото те зависят от модела и често се променят; проверете страницата с цените на доставчика.

Изградете го стъпка по стъпка

Стъпка 1: Опишете бота, не кода

Първата заявка, която назовава аудиторията, обхвата, данните и правилата за безопасност, ви довежда най-близо до целта:

Създай чатбот за клиентска помощ за Oakline, сервиз за велосипеди. Чат страница със списък със съобщения и поле за въвеждане, отговорите да се извеждат поетапно, докато се пишат. Извикай Anthropic API от сървърен маршрут, като използваш тайната променлива ANTHROPIC_API_KEY – никога не я излагай на браузъра. Използвай системен промпт, който отговаря само на въпроси за услугите, цените и работното време от текста във файл shop-info.md, а при други въпроси казва „Не съм сигурен – обадете ни се на номера по-долу“. Ограничи съобщенията до 500 символа и 20 съобщения на посетител на час. Чист, приятелски дизайн, който работи на телефони.

Стъпка 2: Добавете ключа като тайна

Създайте ключа в конзолата на доставчика и след това го съхранете в променливите на средата или тайните на проекта, а не в чата и не в кода. Ако ключ някога се появи на публично място, отменете го при доставчика и създайте нов. Какво са променливите на средата и тайните обяснява защо това е важно.

Стъпка 3: Тествайте отговорите, не само интерфейса

Когато чатът работи, прекарайте най-голяма част от времето в качеството на отговорите. Поддържайте списък от около 20 реални въпроса, включително няколко, на които трябва да се откаже, и ги преминавайте след всяка промяна в промпта. Проверявайте:

• Остава ли ботът в обхвата си?
• Признава ли, когато не знае, вместо да измисля отговор?
• Устоява ли, когато някой се опита да отмени инструкциите му?
• Липсва ли ключът от всичко, което се изтегля в браузъра?

Стъпка 4: Добавете памет и акаунти, ако ви трябват

Когато отделните разговори работят, поискайте запазени нишки в база данни и, ако е нужно, регистрация и вход, за да вижда всеки потребител само своите чатове. Едновременно с това добавете дневен лимит на съобщенията за потребител.

Стъпка 5: Публикувайте със задействани лимити

Уверете се, че публикуваното приложение има същите тайни като предварителния преглед, че таванът на разходите е зададен при доставчика и че грешките се записват там, където ще ги виждате. След това го споделете с малка група, преди да го поставите на основния си сайт.

Безопасност и доверие

Чатботът говори с обществеността от ваше име, затова третирайте неговите грешки като ваш проблем:

• Грешни отговори. Моделите могат уверено да заявят неверни неща. Дръжте бота в тясна тема, основавайте го на собственото ви съдържание и показвайте кратка бележка, че отговорите може да са грешни при важни въпроси.
• Prompt injection. Потребители (или документи, които ботът чете) могат да съдържат инструкции като „игнорирай предишните правила“. Не давайте на бота правомощия, на които не може да се довери: без възстановяване на суми, изтриване или изпращане на имейли по искане на потребител без проверка във вашия собствен код.
• Чувствителни теми. При медицински, правни или финансови въпроси го насочвайте към специалист, вместо да давате съвет.
• Лични данни. Не поставяйте клиентски записи в промптове, освен ако не е необходимо, и проверявайте какво казват условията на доставчика за начина, по който се обработват данните от API.

Нашият списък за проверка на сигурността за приложения, създадени с AI обхваща цялото приложение.

Чести грешки

• Извикване на доставчика от браузъра. Ключът изтича. Винаги минавайте през собствения си сървър.
• Без лимити за публичен бот. Един скрипт може да изчерпи месечния бюджет за един следобед.
• Започване едновременно с RAG, инструменти и няколко модела. Първо накарайте един добър разговор да работи; добавете останалото, когато реалните въпроси покажат, че е нужно.
• Тестване само с дружелюбни въпроси. Потребителите ще задават странни, враждебни и неподходящи въпроси още в първия ден.
• Нишката да расте безкрайно. Разходите и времето за отговор се увеличават с всяко съобщение.

Кога готовият продукт е по-добрият избор

Собственият бот има смисъл, когато чатботът е част от вашия продукт, ползва вашите данни или работен процес или трябва да има конкретен вид и поведение. Често това е грешният избор, когато:

• Искате само widget за поддръжка на съществуващ сайт. Много продукти за help desk и live chat вече включват AI бот за отговори, който чете вашия център за помощ, с готово предаване към човек, входяща кутия и отчети.
• Само вие или вашият екип ще го използвате. Абонамент за общ асистент като ChatGPT или Claude, с качени ваши документи, може да е всичко, което ви трябва.
• Имате нужда от строги гаранции за съответствие (например регулирани здравни или финансови данни). Доставчик, който вече има необходимите сертификати, може да е по-безопасен от собствено решение.

Изграждане с Mythex

Mythex е AI конструктор на приложения: описвате чатбота в чата, а той написва интерфейса и извикването от страна на сървъра, пуска го в жив преглед и го публикува на публичен URL адрес. AI в приложението ви използва вашия собствен ключ от доставчик. Добавяте го в тайните на проекта или през картата с тайни, която Mythex показва в чата, когато е нужна, и използването на доставчика се таксува към вашия акаунт при доставчика, а не с кредити за изграждане в Mythex. Mythex не включва токени за потребителите на вашето приложение, готов продукт за база знания или готови лимити на честотата: те са части, които поискате и тествате сами. В документацията за добавяне на AI в приложението ви има подробно описание, а добавяне на AI с ваши собствени API ключове съдържа стартов промпт.

Ако ботът се нуждае от запазени нишки, Mythex прикачва към проекта база данни Postgres, когато я поискате. За още начини за използване на модели в приложение – от обобщения до класификация – вижте как да добавите AI функции към приложението си, или разгледайте шаблоните за приложения за отправни точки.

Въпроси