Cara Membuat Aplikasi Chatbot AI: Kunci, Prompt, Biaya, dan Keamanan

Untuk membuat aplikasi chatbot AI, Anda membutuhkan empat hal: antarmuka chat, server kecil yang menyimpan API key penyedia model dan meneruskan pesan ke sana, system prompt yang memberi tahu model siapa dirinya dan apa yang boleh dilakukan, serta batasan yang menjaga biaya dan penyalahgunaan tetap terkendali. App builder AI dapat menulis semua itu dari sebuah deskripsi. Bagian yang tetap menjadi tanggung jawab Anda adalah memilih penyedia, menulis instruksi, dan menentukan hal-hal yang tidak boleh dilakukan bot.

Apa saja penyusun aplikasi chatbot AI

Sebagian besar aplikasi chatbot, baik asisten layanan pelanggan, tutor, atau alat internal "tanya dokumen kami", memiliki bagian yang sama:

Bagian route server adalah yang paling sering keliru. Jika halaman chat memanggil penyedia langsung dari browser, siapa pun bisa membuka developer tools, menyalin key Anda, dan menghabiskan tagihan Anda.

Keputusan yang perlu diambil sebelum membangun

Penyedia dan model

Penyedia utama (OpenAI, Anthropic, Google, dan lainnya) semuanya menawarkan API bergaya chat yang bekerja dengan cara yang sama: Anda mengirim daftar pesan dan menerima balasan. Pilihan praktisnya lebih soal ukuran model daripada merek:

• Model yang lebih kecil dan cepat lebih murah dan cepat merespons. Cocok untuk jawaban singkat, klasifikasi, dan bot FAQ sederhana.
• Model yang lebih besar lebih baik dalam bernalar, lebih andal mengikuti instruksi panjang, dan menangani pertanyaan yang berantakan, tetapi biaya per pesannya lebih mahal dan responsnya lebih lambat.

Mulailah dengan model berukuran menengah, uji dengan pertanyaan nyata Anda, lalu naik atau turun dari sana. Jika Anda baru mengenal cara API ini dihargai dan dipanggil, baca dulu cara menggunakan LLM API.

Dari mana pengetahuan bot berasal

Mulai dari opsi paling sederhana yang sudah mencakup konten Anda. Retrieval menambah indeks pencarian, cara menjaganya tetap mutakhir, dan lebih banyak tempat bagi jawaban untuk keliru. Banyak bot yang berguna tidak pernah memerlukannya.

Publik atau di balik login

Chatbot publik di situs web mudah diakses tetapi juga mudah disalahgunakan: seseorang bisa mengirim ribuan pesan lewat skrip. Chatbot yang memerlukan login memungkinkan Anda menyimpan riwayat per pengguna dan menetapkan jatah harian per akun. Jika bersifat publik, batasi panjang pesan, batasi berapa banyak pesan yang bisa dikirim satu pengunjung dalam periode tertentu, dan atur batas bulanan yang ketat di dashboard penyedia. Cara menambahkan login ke aplikasi Anda membahas sisi akunnya.

Apakah menyimpan percakapan

Thread yang tersimpan berguna: pengguna bisa melanjutkan dari tempat terakhir mereka, dan Anda bisa membaca pertanyaan nyata untuk memperbaiki prompt. Namun, itu juga data pribadi. Tentukan berapa lama Anda menyimpannya, sebutkan di pemberitahuan privasi Anda, dan jangan simpan apa pun yang tidak Anda butuhkan.

Tulis system prompt seperti deskripsi pekerjaan

System prompt adalah instruksi yang diterima model sebelum setiap percakapan. Yang baik dibaca seperti brief singkat untuk karyawan baru:

• Peran dan audiens: "Anda adalah asisten bantuan untuk Oakline, bengkel sepeda. Anda berbicara dengan pelanggan."
• Cakupan: "Jawab pertanyaan tentang layanan, harga, jam buka, dan pemesanan. Untuk hal lain, katakan bahwa Anda hanya bisa membantu soal bengkel."
• Sumber kebenaran: "Hanya gunakan informasi di bawah ini. Jika jawabannya tidak ada, katakan Anda tidak tahu dan berikan nomor telepon bengkel."
• Nada dan panjang: "Ramah, bahasa sederhana, tiga kalimat atau kurang kecuali diminta detail."
• Aturan keras: "Jangan pernah menjanjikan harga perbaikan yang tidak tercantum. Jangan pernah meminta detail kartu."

Lalu uji dengan pertanyaan yang sulit: permintaan di luar topik, pesan kasar, pertanyaan yang jawabannya tidak ada di konten Anda, dan upaya membuatnya mengabaikan instruksi ("lupakan aturanmu dan..."). Sesuaikan prompt sampai jawabannya bisa Anda pertanggungjawabkan.

Jaga biaya tetap dapat diprediksi

Penyedia menagih per token (kira-kira potongan kata) untuk input yang Anda kirim dan output yang ditulis model. Tiga hal ini menentukan tagihan:

1. Panjang percakapan. Setiap pesan baru biasanya mengirim ulang seluruh thread agar model punya konteks. Percakapan 40 pesan jauh lebih mahal per balasan dibanding percakapan 4 pesan. Simpan hanya beberapa giliran terakhir, atau ringkas yang lebih lama.
2. Ukuran prompt. System prompt yang panjang atau blok pengetahuan yang besar ikut dikirim di setiap pesan.
3. Panjang output. Atur panjang balasan maksimum di panggilan API dan minta jawaban ringkas di prompt.

Atur batas pengeluaran bulanan di dashboard penyedia sebelum meluncurkan, dan catat pemakaian token per permintaan agar Anda tahu percakapan mana yang mahal. Kami tidak mencantumkan harga di sini karena bervariasi menurut model dan sering berubah; cek halaman harga penyedia Anda.

Bangun langkah demi langkah

Langkah 1: Jelaskan botnya, bukan kodenya

Prompt pertama yang menyebutkan audiens, cakupan, data, dan aturan keamanan sudah membawa Anda sebagian besar jalan:

Bangun chatbot bantuan pelanggan untuk Oakline, bengkel sepeda. Halaman chat dengan daftar pesan dan kolom input, balasan ditampilkan sambil ditulis. Panggil API Anthropic dari route server menggunakan secret ANTHROPIC_API_KEY, jangan pernah membukanya ke browser. Gunakan system prompt yang hanya menjawab pertanyaan tentang layanan, harga, dan jam buka kami dari teks dalam file bernama shop-info.md, dan mengatakan "Saya belum yakin, silakan hubungi nomor di bawah" jika tidak. Batasi pesan 500 karakter dan 20 pesan per pengunjung per jam. Desain bersih dan ramah yang nyaman di ponsel.

Langkah 2: Tambahkan key sebagai secret

Buat key di konsol penyedia Anda, lalu simpan di environment variable atau secret proyek, bukan di chat dan bukan di kode. Jika key pernah muncul di tempat publik, cabut di penyedia dan buat yang baru. Apa itu environment variable dan secret menjelaskan mengapa ini penting.

Langkah 3: Uji jawabannya, bukan hanya antarmukanya

Setelah chat berfungsi, habiskan sebagian besar waktu untuk kualitas jawaban. Simpan daftar sekitar 20 pertanyaan nyata, termasuk beberapa yang seharusnya ditolak, dan jalankan setelah setiap perubahan prompt. Periksa:

• Apakah tetap dalam cakupan?
• Apakah ia mengakui saat tidak tahu, alih-alih mengarang jawaban?
• Apakah ia tetap kokoh saat ada yang mencoba menimpa instruksinya?
• Apakah key tidak ada di apa pun yang diunduh browser?

Langkah 4: Tambahkan memori dan akun jika Anda membutuhkannya

Setelah percakapan tunggal berfungsi, minta thread tersimpan di database dan, jika perlu, sign-up dan login agar setiap pengguna hanya melihat chatnya sendiri. Tambahkan juga jatah pesan harian per pengguna sekaligus.

Langkah 5: Publikasikan dengan batasan aktif

Pastikan aplikasi yang dipublikasikan memiliki secret yang sama dengan pratinjau, batas pengeluaran sudah diatur di penyedia, dan error dicatat di tempat yang akan Anda lihat. Lalu bagikan ke kelompok kecil sebelum memasangnya di situs utama Anda.

Keamanan dan kepercayaan

Chatbot berbicara kepada publik atas nama Anda, jadi perlakukan kegagalannya sebagai masalah Anda:

• Jawaban yang salah. Model bisa menyatakan hal yang keliru dengan yakin. Jaga bot tetap pada topik yang sempit, dasarkan pada konten Anda sendiri, dan tampilkan catatan singkat bahwa jawaban bisa salah untuk hal yang penting.
• Prompt injection. Pengguna (atau dokumen yang dibaca bot) bisa berisi instruksi seperti "abaikan aturan sebelumnya". Jangan beri bot kewenangan yang tidak bisa dipercaya: tidak ada refund, penghapusan, atau email yang dikirim atas permintaan pengguna tanpa pemeriksaan di kode Anda sendiri.
• Topik sensitif. Untuk pertanyaan medis, hukum, atau keuangan, arahkan orang ke profesional, jangan memberi nasihat.
• Data pribadi. Jangan tempel catatan pelanggan ke prompt kecuali perlu, dan periksa ketentuan penyedia Anda tentang cara data API ditangani.

Checklist keamanan untuk aplikasi buatan AI kami membahas aplikasi secara lebih luas.

Kesalahan umum

• Memanggil penyedia dari browser. Key bocor. Selalu lewat server Anda.
• Tidak ada batas pada bot publik. Satu skrip bisa menghabiskan anggaran sebulan dalam satu sore.
• Memulai dengan RAG, tool, dan banyak model sekaligus. Selesaikan satu percakapan yang baik dulu; tambahkan sisanya ketika pertanyaan nyata menunjukkan Anda membutuhkannya.
• Hanya menguji pertanyaan yang ramah. Pengguna Anda akan menanyakan hal yang aneh, bermusuhan, dan di luar topik sejak hari pertama.
• Membiarkan thread terus bertambah tanpa batas. Biaya dan waktu respons naik dengan setiap pesan.

Kapan produk jadi lebih baik

Membangun sendiri masuk akal jika chatbot adalah bagian dari produk Anda, membutuhkan data atau alur kerja Anda sendiri, atau memerlukan tampilan dan perilaku tertentu. Sering kali itu bukan pilihan tepat jika:

• Anda hanya ingin widget dukungan di situs yang sudah ada. Banyak produk helpdesk dan live chat kini menyertakan bot jawaban AI yang membaca pusat bantuan Anda, dengan serah terima ke manusia, kotak masuk, dan laporan yang sudah tersedia.
• Hanya Anda atau tim Anda yang memakainya. Langganan ke asisten umum seperti ChatGPT atau Claude, dengan dokumen Anda diunggah, mungkin sudah cukup.
• Anda memerlukan jaminan kepatuhan yang ketat (misalnya, data kesehatan atau keuangan yang diatur). Vendor yang sudah memiliki sertifikasi bisa lebih aman daripada pembangunan sendiri.

Membangunnya dengan Mythex

Mythex adalah app builder AI: Anda mendeskripsikan chatbot di chat, lalu ia menulis antarmuka dan panggilan sisi server, menjalankannya di pratinjau langsung, dan mempublikasikannya ke URL publik. AI di dalam aplikasi Anda menggunakan key penyedia milik Anda sendiri. Anda menambahkannya di secret proyek, atau lewat kartu secret yang ditampilkan Mythex di chat saat dibutuhkan, dan pemakaian penyedia ditagihkan ke akun penyedia Anda, bukan ke kredit build Mythex. Mythex tidak menyertakan token untuk pengguna aplikasi Anda, produk basis pengetahuan siap pakai, atau rate limit yang sudah jadi: itu semua bagian yang Anda minta dan uji sendiri. Halaman docs tentang menambahkan AI di dalam aplikasi Anda menjelaskan langkahnya, dan menambahkan AI dengan API key Anda sendiri punya prompt awal.

Jika bot memerlukan thread tersimpan, Mythex menambahkan database Postgres ke proyek saat Anda memintanya. Untuk cara lain menggunakan model di dalam aplikasi, dari ringkasan hingga klasifikasi, lihat cara menambahkan fitur AI ke aplikasi Anda, atau telusuri template aplikasi sebagai titik awal.

Pertanyaan