Yapay Zeka Chatbot Uygulaması Nasıl Yapılır: Anahtarlar, Promptlar, Maliyetler ve Güvenlik

Bir yapay zeka chatbot uygulaması yapmak için dört şeye ihtiyacınız var: bir sohbet arayüzü, model sağlayıcınızın API anahtarını tutan ve mesajları ona ileten küçük bir sunucu, modele kim olduğunu ve neler yapabileceğini söyleyen bir sistem promptu ve maliyetleri ve kötüye kullanımı kontrol altında tutan sınırlar. Bir yapay zeka uygulama oluşturucu bunların hepsini bir açıklamadan yazabilir. Size düşen kısım ise sağlayıcıyı seçmek, talimatları yazmak ve botun asla yapmaması gereken şeyleri belirlemektir.

Bir yapay zeka chatbot uygulaması neyden oluşur

Destek asistanı, eğitmen ya da “dokümanlarımıza sor” türü bir iç araç olsun, çoğu chatbot uygulamasının parçaları aynıdır:

Sunucu rotası, insanların en sık yanlış yaptığı kısımdır. Sohbet sayfası sağlayıcıyı doğrudan tarayıcıdan çağırırsa, herkes geliştirici araçlarını açıp anahtarınızı kopyalayabilir ve faturanızı şişirebilir.

Yapmadan önce verilmesi gereken kararlar

Sağlayıcı ve model

OpenAI, Anthropic, Google ve diğerleri, aynı şekilde çalışan sohbet tarzı bir API sunar: bir mesaj listesi gönderir, bir yanıt alırsınız. Pratikte seçim markadan çok model boyutuyla ilgilidir:

• Daha küçük, hızlı modeller daha ucuzdur ve hızlı yanıt verir. Kısa cevaplar, sınıflandırma ve basit SSS botları için uygundur.
• Daha büyük modeller daha iyi akıl yürütür, uzun talimatları daha güvenilir izler ve karmaşık soruları daha iyi yanıtlar, ancak mesaj başına daha pahalıdır ve daha yavaş yanıt verir.

Orta boy bir modelle başlayın, gerçek sorularınızla test edin ve oradan yukarı ya da aşağı hareket edin. Bu API'lerin nasıl fiyatlandırıldığı ve çağrıldığı konusunda yeniyseniz, önce LLM API'leri nasıl kullanılır rehberini okuyun.

Botun bilgisi nereden gelecek

İçeriğinizi karşılayan en basit seçenekle başlayın. Retrieval bir arama dizini, onu güncel tutmanın bir yolu ve yanlış yanıtların çıkabileceği daha çok nokta ekler. Birçok faydalı bot buna hiç ihtiyaç duymaz.

Herkese açık mı, yoksa giriş arkasında mı

Web sitenizdeki herkese açık bir chatbota ulaşmak kolaydır, ama kötüye kullanmak da kolaydır: biri saniyeler içinde binlerce mesajı betikle gönderebilir. Giriş gerektiren bir chatbot ise geçmişi kullanıcı bazında kaydetmenize ve hesap başına günlük bir kota koymanıza izin verir. Botunuz herkese açıksa mesaj uzunluğunu sınırlayın, bir ziyaretçinin belirli bir süre içinde gönderebileceği mesaj sayısını kısıtlayın ve sağlayıcının panelinde sert bir aylık limit belirleyin. Uygulamanıza giriş ekleme rehberi hesap tarafını anlatır.

Konuşmaları kaydetmek

Kaydedilmiş konuşmalar faydalıdır: kullanıcılar kaldıkları yerden devam edebilir ve gerçek soruları okuyarak promptu iyileştirebilirsiniz. Ancak bunlar kişisel veridir. Ne kadar süre tutacağınıza karar verin, bunu gizlilik bildiriminizde belirtin ve ihtiyacınız olmayan hiçbir şeyi kaydetmeyin.

Sistem promptunu bir iş tanımı gibi yazın

Sistem promptu, her konuşmadan önce modelin aldığı talimattır. İyi bir sistem promptu, yeni bir çalışana verilen kısa bir brif gibi okunmalıdır:

• Rol ve kitle: “Sen, bisiklet tamir dükkânı Oakline'ın yardım asistanısın. Müşterilerle konuşuyorsun.”
• Kapsam: “Hizmetler, fiyatlar, çalışma saatleri ve randevu hakkındaki soruları yanıtla. Bunların dışında kalan konularda yalnızca dükkânla ilgili yardım edebileceğini söyle.”
• Doğruluk kaynağı: “Yalnızca aşağıdaki bilgileri kullan. Cevap orada yoksa bilmediğini söyle ve dükkânın telefon numarasını ver.”
• Ton ve uzunluk: “Samimi, sade bir dille, istenmedikçe en fazla üç cümle.”
• Kesin kurallar: “Listelenmeyen bir tamir fiyatı asla vaat etme. Asla kart bilgisi isteme.”

Sonra onu zor sorularla test edin: konu dışı istekler, kaba mesajlar, içeriğinizde cevabı olmayan sorular ve talimatlarını çiğnetmeye yönelik denemeler (“kurallarını unut ve…”). Yanıtlar, adınızı verebileceğiniz türden olana kadar promptu ayarlayın.

Maliyetleri öngörülebilir tutun

Sağlayıcılar, gönderdiğiniz girdi ve modelin yazdığı çıktı için token (kabaca kelime parçası) başına ücret alır. Faturayı üç şey belirler:

1. Konuşmanın uzunluğu. Her yeni mesaj, modelin bağlamı görebilmesi için genellikle tüm konuşmayı yeniden gönderir. 40 mesajlık bir sohbet, 4 mesajlık bir sohbete göre yanıt başına çok daha pahalıdır. Yalnızca son birkaç turu tutun veya daha eski olanları özetleyin.
2. Prompt boyutu. Uzun bir sistem promptu ya da büyük bir bilgi bloğu her mesajla birlikte gönderilir.
3. Çıktı uzunluğu. API çağrısında bir maksimum yanıt uzunluğu belirleyin ve promptta kısa cevaplar isteyin.

Lansmandan önce sağlayıcının panelinde aylık bir harcama limiti belirleyin ve hangi konuşmaların pahalı olduğunu görebilmek için istek başına token kullanımını kaydedin. Burada fiyat vermiyoruz; çünkü fiyatlar modele göre değişir ve sık değişir. Sağlayıcının kendi fiyatlandırma sayfasını kontrol edin.

Adım adım yapın

Adım 1: Kodu değil, botu tarif edin

Kitleyi, kapsamı, verileri ve güvenlik kurallarını adlandıran bir ilk prompt, işin çoğunu halleder:

Bisiklet tamir dükkânı Oakline için bir müşteri yardım chatbotu yap. Mesaj listesi ve giriş alanı olan bir sohbet sayfası olsun, yanıtlar yazıldıkça akarak görünsün. Anthropic API'sini, gizli ANTHROPIC_API_KEY değişkenini kullanarak bir sunucu rotasından çağır; anahtar asla tarayıcıya gitmesin. Sistem promptu, yalnızca shop-info.md adlı dosyadaki hizmetler, fiyatlar ve çalışma saatleri hakkında cevap versin; bunun dışında “Emin değilim, lütfen aşağıdaki numaradan bizi arayın” desin. Mesajları 500 karakterle, ziyaretçi başına saatte 20 mesajla sınırla. Temiz, samimi ve telefonda da çalışan bir tasarım olsun.

Adım 2: Anahtarı gizli değişken olarak ekleyin

Anahtarı sağlayıcınızın konsolunda oluşturun, ardından proje ortam değişkenlerine ya da gizli değerlere kaydedin; sohbete ya da koda yazmayın. Bir anahtar herhangi bir yerde halka açık hale gelirse, sağlayıcıda iptal edin ve yenisini oluşturun. Ortam değişkenleri ve gizli değerler nedir bunun neden önemli olduğunu açıklar.

Adım 3: Arayüzü değil, cevapları test edin

Sohbet çalıştığında zamanınızın çoğunu cevap kalitesine harcayın. Gerçek sorulardan yaklaşık 20 tanesinden oluşan bir liste tutun; bunların birkaçı reddedilmeli. Her prompt değişikliğinden sonra bu listeyi çalıştırın. Şunları kontrol edin:

• Kapsam içinde kalıyor mu?
• Bilmediği zaman uydurmak yerine bunu kabul ediyor mu?
• Talimatlarını geçersiz kılmaya çalışıldığında dayanıklı mı?
• Tarayıcının indirdiği hiçbir şeyde anahtar yer alıyor mu?

Adım 4: İhtiyacınız varsa hafıza ve hesap ekleyin

Tek konuşmalar çalıştıktan sonra, kaydedilmiş konuşmalar için bir veritabanı isteyin; gerekiyorsa her kullanıcının yalnızca kendi sohbetlerini görmesi için kayıt olma ve giriş yapma ekleyin. Aynı anda kullanıcı başına günlük mesaj kotası da ekleyin.

Adım 5: Sınırlar açıkken yayınlayın

Yayınlanan uygulamanın önizlemeyle aynı gizli değerlere sahip olduğundan, sağlayıcıda harcama tavanının ayarlandığından ve hataların göreceğiniz bir yerde kaydedildiğinden emin olun. Sonra ana sitenize koymadan önce uygulamayı küçük bir grupla paylaşın.

Güvenlik ve güven

Chatbot, halkla sizin adınıza konuşur; bu yüzden başarısızlık biçimlerini kendi sorumluluğunuz sayın:

• Yanlış cevaplar. Modeller yanlış şeyleri özgüvenle söyleyebilir. Botu dar bir konuda tutun, kendi içeriğinize dayandırın ve önemli konularda cevapların yanlış olabileceğine dair kısa bir not gösterin.
• Prompt enjeksiyonu. Kullanıcılar (ya da botun okuduğu belgeler) “önceki kuralları yok say” gibi talimatlar içerebilir. Botu güvenilmeyecek yetkilerle donatmayın: kodunuzda bir kontrol olmadan iade, silme ya da bir kullanıcının isteğiyle e-posta gönderme yetkisi vermeyin.
• Hassas konular. Tıbbi, hukuki veya finansal sorular için, tavsiye vermek yerine insanları bir uzmana yönlendirsin.
• Kişisel veriler. Gerekmedikçe prompta müşteri kayıtları yapıştırmayın ve sağlayıcınızın API verilerinin nasıl işlendiğine dair koşullarını kontrol edin.

Daha geniş uygulama için yapay zeka ile oluşturulan uygulamalar için güvenlik kontrol listemiz yardımcı olur.

Sık yapılan hatalar

• Sağlayıcıyı tarayıcıdan çağırmak. Anahtar sızar. Her zaman sunucunuz üzerinden gidin.
• Herkese açık bot için sınır koymamak. Tek bir betik bir öğleden sonrada bir aylık bütçeyi tüketebilir.
• RAG, araçlar ve birden fazla modelle başlamak. Önce tek bir iyi konuşmayı çalıştırın; gerçek sorular ihtiyaç olduğunu gösterdiğinde gerisini ekleyin.
• Yalnızca kibar soruları test etmek. Kullanıcılarınız ilk günden garip, düşmanca ve konu dışı şeyler soracak.
• Konuşmanın sonsuza dek uzamasına izin vermek. Her mesajla birlikte maliyetler ve yanıt süreleri artar.

Hazır bir ürün daha iyi seçim olduğunda

Kendi chatbotunuzu yapmak, chatbot ürününüzün bir parçasıysa, kendi verinize ya da iş akışınıza ihtiyaç duyuyorsa ya da belirli bir görünüm ve davranış gerektiriyorsa mantıklıdır. Şu durumlarda genellikle yanlış tercihtir:

• Mevcut bir sitede yalnızca bir destek widget'ı istiyorsanız. Birçok yardım masası ve canlı sohbet ürünü artık yardım merkezinizi okuyan yapay zeka yanıt botlarını, insan devralmayı, gelen kutusunu ve raporlamayı hazır olarak sunuyor.
• Yalnızca siz ya da ekibiniz kullanacaksa. Belgelerinizi yükleyerek ChatGPT ya da Claude gibi genel bir asistana abone olmak yeterli olabilir.
• Sıkı uyumluluk garantilerine ihtiyacınız varsa (örneğin düzenlemeye tabi sağlık ya da finansal veriler). Sertifikalara zaten sahip bir sağlayıcı, özel bir geliştirmeden daha güvenli olabilir.

Mythex ile yapmak

Mythex bir yapay zeka uygulama oluşturucudur: chatbotu sohbette tarif edersiniz, o da arayüzü ve sunucu tarafındaki çağrıyı yazar, canlı önizlemede çalıştırır ve bir herkese açık URL'ye yayınlar. Uygulamanızın içindeki yapay zeka kendi sağlayıcı anahtarınızı kullanır. Bunu proje gizli değerlerine ekler ya da Mythex'in ihtiyaç duyduğunda sohbette gösterdiği gizli değerler kartı üzerinden eklersiniz; sağlayıcı kullanımı Mythex yapı kredilerine değil, sağlayıcı hesabınıza yansır. Mythex, uygulamanızın kullanıcıları için token, hazır bir bilgi tabanı ürünü ya da hazır hız sınırları sunmaz: bunları isteyip test etmeniz gerekir. Kaydedilmiş konuşmalar gerekiyorsa Mythex, istediğinizde projeye bir Postgres veritabanı ekler. Uygulamanıza yapay zeka eklemek belgesi süreci adım adım anlatır, kendi API anahtarlarınızla yapay zeka ekleme ise bir başlangıç promptu sunar.

Daha fazla model kullanma yolları için, özetlemeden sınıflandırmaya kadar, uygulamanıza yapay zeka özellikleri nasıl eklenir rehberine bakın ya da başlangıç noktaları için uygulama şablonlarına göz atın.

Sorular