Slik bygger du en AI-chatbot-app: nøkler, prompter, kostnader og sikkerhet

For å bygge en AI-chatbot-app trenger du fire ting: et chatgrensesnitt, en liten server som holder API-nøkkelen til modellleverandøren og videresender meldinger til den, en systemprompt som forteller modellen hvem den er og hva den får gjøre, og grenser som holder kostnader og misbruk under kontroll. En AI-appbygger kan skrive alt dette fra en beskrivelse. Det som fortsatt er ditt ansvar, er å velge leverandør, skrive instruksjonene og bestemme hva boten aldri skal gjøre.

Hva en AI-chatbot-app består av

De fleste chatbot-apper, enten det er en kundestøtteassistent, en veileder eller et internt «spør dokumentene våre»-verktøy, har de samme delene:

Serverruten er den delen folk oftest gjør feil. Hvis chatsiden kaller leverandøren direkte fra nettleseren, kan hvem som helst åpne utviklerverktøyene, kopiere nøkkelen din og kjøre opp regningen.

Beslutninger før du bygger

Hvilken leverandør og modell

De store leverandørene (OpenAI, Anthropic, Google og andre) tilbyr alle et chat-lignende API som fungerer likt: du sender en liste med meldinger og får et svar. Det praktiske valget handler mindre om merkevaren og mer om modellstørrelsen:

• Mindre, raskere modeller er billigere og svarer raskt. De passer til korte svar, klassifisering og enkle FAQ-boter.
• Større modeller resonnerer bedre, følger lange instruksjoner mer pålitelig og takler rotete spørsmål, men koster mer per melding og svarer tregere.

Start med en mellomstor modell, test den mot dine virkelige spørsmål, og gå opp eller ned derfra. Hvis du er ny til hvordan disse API-ene prises og kalles, les først hvordan du bruker LLM-API-er.

Hvor botens kunnskap kommer fra

Start med det enkleste alternativet som dekker innholdet ditt. Søk legger til en søkeindeks, en måte å holde den oppdatert på og flere steder der svar kan gå galt. Mange nyttige boter trenger aldri det.

Offentlig, eller bak innlogging

En offentlig chatbot på nettsiden din er lett å nå, men også lett å misbruke: noen kan skripte tusenvis av meldinger mot den. En chatbot bak innlogging lar deg lagre historikk per bruker og sette en daglig kvote per konto. Hvis den er offentlig, begrens lengden på meldinger, begrens hvor mange meldinger én besøkende kan sende i en periode, og sett en hard månedlig grense hos leverandøren. Slik legger du til innlogging i appen din dekker kontodelen.

Om samtaler skal lagres

Lagrede tråder er nyttige: brukere kan fortsette der de slapp, og du kan lese ekte spørsmål for å forbedre prompten. Men de er også personopplysninger. Bestem hvor lenge du beholder dem, si det i personvernerklæringen din, og ikke lagre noe du ikke trenger.

Skriv systemprompten som en stillingsbeskrivelse

Systemprompten er instruksjonen modellen får før hver samtale. En god en leses som et kort oppdrag til en ny ansatt:

• Rolle og målgruppe: «Du er hjelpeassistenten for Oakline, et sykkelverksted. Du snakker med kunder.»
• Omfang: «Svar på spørsmål om tjenester, priser, åpningstider og booking. For alt annet, si at du bare kan hjelpe med verkstedet.»
• Kilde til sannhet: «Bruk bare informasjonen nedenfor. Hvis svaret ikke står der, si at du ikke vet, og gi verkstedets telefonnummer.»
• Tone og lengde: «Vennlig, klart språk, tre setninger eller færre med mindre det bes om mer detaljer.»
• Harde regler: «Lov aldri en reparasjonspris som ikke står oppført. Be aldri om kortopplysninger.»

Test den deretter med vanskelige spørsmål: ting som er utenfor temaet, uhøflige meldinger, spørsmål hvis svar ikke står i innholdet ditt, og forsøk på å få den til å ignorere instruksjonene («glem reglene dine og…»). Juster prompten til svarene er slike du kan stå inne for.

Hold kostnadene forutsigbare

Leverandørene fakturerer per token (grovt sett biter av ord) for innputen du sender og output modellen skriver. Tre ting driver regningen:

1. Lengden på samtalen. Hver ny melding sender vanligvis hele tråden på nytt, slik at modellen har konteksten. En samtale med 40 meldinger koster langt mer per svar enn en med 4. Behold bare de siste par rundene, eller oppsummer de eldre.
2. Størrelsen på prompten. En lang systemprompt eller et stort avsnitt med limt inn kunnskap sendes med hver melding.
3. Lengden på svarene. Sett en maksimal svarlengde i API-kallet, og be om korte svar i prompten.

Sett en månedlig forbruksgrense i leverandørens dashbord før du lanserer, og logg tokenbruk per forespørsel, slik at du ser hvilke samtaler som er dyre. Vi oppgir ikke priser her, fordi de varierer mellom modeller og endres ofte. Sjekk leverandørens egen prisside.

Bygg det steg for steg

Steg 1: Beskriv boten, ikke koden

En første prompt som nevner målgruppe, omfang, data og sikkerhetsregler, tar deg langt:

Bygg en kundestøtte-chatbot for Oakline, et sykkelverksted. En chatside med meldingsliste og inputfelt, og svar som strømmes etter hvert som de skrives. Kall Anthropic-API-et fra en serverrute med den hemmelige nøkkelen ANTHROPIC_API_KEY — eksponer den aldri for nettleseren. Bruk en systemprompt som bare svarer på spørsmål om tjenestene, prisene og åpningstidene våre, basert på teksten i en fil som heter shop-info.md, og som sier «Jeg er usikker — ring oss på nummeret under» ellers. Begrens meldinger til 500 tegn og 20 meldinger per besøkende per time. Rent, vennlig design som fungerer på mobil.

Steg 2: Legg til nøkkelen som en hemmelighet

Opprett nøkkelen i leverandørens konsoll, og lagre den deretter i prosjektets miljøvariabler eller hemmeligheter, ikke i chatten og ikke i koden. Hvis en nøkkel noen gang havner et offentlig sted, tilbakekall den hos leverandøren og lag en ny. Hva miljøvariabler og hemmeligheter er forklarer hvorfor dette er viktig.

Steg 3: Test svarene, ikke bare grensesnittet

Når chatten fungerer, bruk mesteparten av tiden på svarkvaliteten. Ha en liste med rundt 20 ekte spørsmål, inkludert noen som bør avslås, og gå gjennom dem etter hver endring i prompten. Sjekk:

• Holder den seg innenfor omfanget?
• Innrømmer den når den ikke vet, i stedet for å finne på et svar?
• Står den seg når noen prøver å overstyre instruksjonene?
• Finnes nøkkelen ikke i noe nettleseren laster ned?

Steg 4: Legg til minne og kontoer hvis du trenger det

Når enkeltsamtaler fungerer, be om lagrede tråder i en database og, hvis det trengs, registrering og innlogging slik at hver bruker bare ser sine egne samtaler. Legg til en daglig meldingskvote per bruker samtidig.

Steg 5: Publiser med grensene slått på

Sørg for at den publiserte appen har de samme hemmelighetene som forhåndsvisningen, at forbruksgrensen er satt hos leverandøren, og at feil logges et sted du ser. Del den deretter med en liten gruppe før du legger den på hovedsiden din.

Sikkerhet og tillit

En chatbot snakker med offentligheten på dine vegne, så behandle feilsituasjonene som ditt problem:

• Feil svar. Modeller kan fremstille usanne ting med stor sikkerhet. Hold boten på et smalt tema, forankre den i ditt eget innhold, og vis en kort merknad om at svar kan være feil når det gjelder noe viktig.
• Prompt-injeksjon. Brukere (eller dokumenter boten leser) kan inneholde instruksjoner som «se bort fra tidligere regler». Ikke gi boten makt den ikke kan stoles på med: ingen refusjoner, slettinger eller e-poster sendt på en brukers ord uten en sjekk i din egen kode.
• Sensitive temaer. For medisinske, juridiske eller finansielle spørsmål bør den henvise folk til en fagperson i stedet for å gi råd.
• Personopplysninger. Ikke lim kunderegistre inn i prompter med mindre du må, og sjekk hva leverandørens vilkår sier om hvordan API-data behandles.

Vår sikkerhetssjekkliste for AI-bygde apper dekker resten av appen.

Vanlige feil

• Å kalle leverandøren fra nettleseren. Nøkkelen lekker. Gå alltid gjennom serveren din.
• Ingen grenser på en offentlig bot. Ett skript kan tømme en månedsbudsjett på et ettermiddag.
• Å starte med RAG, verktøy og flere modeller samtidig. Få én god samtale til å fungere først; legg til resten når ekte spørsmål viser at du trenger det.
• Å teste bare vennlige spørsmål. Brukerne dine vil stille rare, fiendtlige og off-topic spørsmål på første dag.
• Å la tråden vokse i det uendelige. Kostnader og svartider stiger med hver melding.

Når et ferdig produkt er det bedre valget

Å bygge din egen gir mening når chatboten er en del av produktet ditt, trenger dine egne data eller arbeidsflyt, eller trenger et bestemt utseende og oppførsel. Det er ofte feil valg når:

• Du bare vil ha en støttemodul på en eksisterende side. Mange helpdesk- og live-chat-produkter har nå AI-svarboter som leser hjelpesenteret ditt, med overlevering til menneske, innboks og rapportering innebygd.
• Bare du eller teamet ditt skal bruke den. Et abonnement på en generell assistent som ChatGPT eller Claude, med dokumentene dine lastet opp, kan være alt du trenger.
• Du trenger strenge compliance-garantier (for eksempel regulerte helse- eller finansdata). En leverandør som allerede har sertifiseringene kan være tryggere enn et egenbygd løsning.

Bygge den med Mythex

Mythex er en AI-appbygger: du beskriver chatboten i chatten, og den skriver grensesnittet og serverkallet, kjører den i en live forhåndsvisning og publiserer den til en offentlig URL. AI-en i appen din bruker din egen leverandørnøkkel. Du legger den inn i prosjektets hemmeligheter, eller gjennom hemmelighetskortet Mythex viser i chatten når den trenger en, og bruk av leverandøren faktureres på leverandørkontoen din, ikke på Mythex-byggekreditter. Mythex inkluderer ikke tokens for appens brukere, et innebygd kunnskapsbaseprodukt eller ferdige hastighetsgrenser: det er deler du ber om og tester selv. Dokumentasjonssiden om å legge til AI i appen din gjennomgår det, og legg til AI med dine egne API-nøkler har en startprompt.

Hvis boten trenger lagrede tråder, legger Mythex til en Postgres-database i prosjektet når du ber om det. For flere måter å bruke modeller i en app på, fra oppsummeringer til klassifisering, se slik legger du til AI-funksjoner i appen din, eller bla gjennom app-malene for utgangspunkter.

Spørsmål