Hvernig þú byggir AI-spjallforrit: lyklar, skipanir, kostnaður og öryggi

Til að byggja AI-spjallforrit þarftu fjóra hluti: spjallviðmót, lítinn þjón sem geymir API-lykil þjónustuaðilans og sendir skilaboð til hans, kerfisskipun sem segir líkaninu hver það er og hvað það má gera, og takmarkanir sem halda kostnaði og misnotkun í skefjum. AI-smiður getur skrifað allt þetta út frá lýsingu. Það sem er þitt verk er að velja þjónustuaðila, skrifa leiðbeiningarnar og ákveða hvað spjallmennið má aldrei gera.

Úr hverju AI-spjallforrit er gert

Flest spjallforrit, hvort sem það er þjónustuaðstoð, kennari eða innra tól sem svarar spurningum úr skjölum, eru með sömu hluti:

Þjónsleiðin er sá hluti sem fólk gerir oftast vitlaust. Ef spjallsíðan kallar beint á þjónustuaðilann úr vafranum getur hver sem er opnað þróunarverkfærin, afritað lykilinn þinn og keyrt upp reikninginn.

Ákvarðanir áður en þú byrjar

Hvaða þjónustuaðili og líkan

Helstu þjónustuaðilar (OpenAI, Anthropic, Google og fleiri) bjóða allir spjall-API sem virkar eins: þú sendir lista af skilaboðum og færð svar til baka. Hagnýta valið snýst minna um vörumerkið og meira um stærð líkansins:

• Minni og hraðvirkari líkön eru ódýrari og svara hratt. Þau duga fyrir stutt svör, flokkun og einföld spurt-og-svarað-spjallmenni.
• Stærri líkön rökræða betur, fylgja löngum leiðbeiningum áreiðanlegar og ráða við óskýrar spurningar, en kosta meira á hvert skilaboð og svara hægar.

Byrjaðu með meðalstóru líkani, prófaðu það á þínum raunverulegu spurningum og færðu þig upp eða niður þaðan. Ef þú ert nýr í því hvernig þessi API eru verðlögð og kölluð skaltu lesa fyrst hvernig þú notar LLM API.

Hvaðan þekking spjallmennisins kemur

Byrjaðu á einfaldasta valkostinum sem nær yfir efnið þitt. Leit bætir við leitarvísitölu, leið til að halda henni uppfærðri og fleiri stöðum þar sem svör geta farið úrskeiðis. Mörg gagnleg spjallmenni þurfa aldrei hana.

Opið eða á bak við innskráningu

Opið spjallmenni á vefsíðunni þinni er auðvelt að ná í en líka auðvelt að misnota: einhver getur forritað þúsundir skilaboða á það. Spjallmenni á bak við innskráningu gerir þér kleift að vista sögu hvers notanda og setja dagskvóta á hvern reikning. Ef það er opið skaltu takmarka lengd skilaboða, takmarka hversu mörg skilaboð einn gestur getur sent á tilteknu tímabili og setja harða mánaðarmörk í stjórnborði þjónustuaðilans. Hvernig þú bætir innskráningu við appið þitt fjallar um aðgangshlutann.

Hvort þú vistar samtöl

Vistaðir þræðir eru gagnlegir: notendur geta haldið áfram þar sem frá var horfið og þú getur lesið raunverulegar spurningar til að bæta kerfisskipunina. Þeir eru líka persónuupplýsingar. Ákveddu hversu lengi þú geymir þá, segðu frá því í persónuverndartilkynningunni og vistaðu ekkert sem þú þarft ekki.

Skrifaðu kerfisskipunina eins og starfslýsingu

Kerfisskipunin er fyrirmælin sem líkanið fær áður en hvert samtal hefst. Góð skipun er eins og stutt verkefnalýsing fyrir nýjan starfsmann:

• Hlutverk og markhópur: „Þú ert hjálparaðstoðarmaður Oakline, hjólaverkstæðis. Þú talar við viðskiptavini.“
• Umfang: „Svaraðu spurningum um þjónustu, verð, opnunartíma og bókanir. Fyrir allt annað skaltu segja að þú getir aðeins aðstoðað með verkstæðið.“
• Uppspretta sannleikans: „Notaðu aðeins upplýsingarnar hér að neðan. Ef svarið er ekki þar skaltu segja að þú vitir það ekki og gefa upp símanúmer verkstæðisins.“
• Tónn og lengd: „Vinalegt, skýrt mál, þrjár setningar eða færri nema beðið sé um meiri útskýringu.“
• Harðar reglur: „Lofaðu aldrei viðgerðarverði sem er ekki skráð. Biddu aldrei um kortaupplýsingar.“

Prófaðu síðan skipunina með óþægilegum spurningum: fyrirspurnum utan efnis, dónalegum skilaboðum, spurningum sem svarið er ekki við í efninu þínu og tilraunum til að fá það til að hunsa fyrirmælin („gleymdu reglunum þínum og…“). Breyttu skipuninni þar til svörin eru þau sem þú myndir standa við.

Haltu kostnaðinum fyrirsjáanlegum

Þjónustuaðilar rukka eftir táknum (um það bil hlutum orða) fyrir inntakið sem þú sendir og úttakið sem líkanið skrifar. Þrír þættir ráða reikningnum:

1. Lengd samtalsins. Hvert nýtt skilaboð sendir venjulega allan þráðinn aftur svo líkanið hafi samhengi. Samtal með 40 skilaboðum kostar miklu meira per svar en samtal með 4. Haltu aðeins síðustu nokkrum skiptum, eða taktu eldri skilaboð saman í stutta samantekt.
2. Stærð kerfisskipunarinnar. Löng skipun eða stór búnt af þekkingu er send með hverju skilaboði.
3. Lengd úttaksins. Stilltu hámarkslengd svars í API-kallinu og biddu um hnitmiðuð svör í skipuninni.

Settu mánaðarlegt eyðsluþak í stjórnborði þjónustuaðilans áður en þú opnar, og skráðu notkun tákna fyrir hverja beiðni svo þú sjáir hvaða samtöl eru dýr. Við birtum ekki verð hér því þau eru mismunandi eftir líkönum og breytast oft; skoðaðu verðsíðu þjónustuaðilans sjálfs.

Byggðu skref fyrir skref

Skref 1: Lýstu spjallmenninu, ekki kóðanum

Fyrsta skipun sem nefnir markhópinn, umfangið, gögnin og öryggisreglurnar kemur þér langt:

Byggðu þjónustuspjallmenni fyrir Oakline, hjólaverkstæði. Spjallsíða með skilaboðalista og innsláttarreit, svör sem streyma eftir því sem þau eru skrifuð. Kallaðu á Anthropic API úr þjónsleið með leynilega lyklinum ANTHROPIC_API_KEY, aldrei í vafranum. Notaðu kerfisskipun sem svarar aðeins spurningum um þjónustu, verð og opnunartíma út frá textanum í skránni shop-info.md, og segir „Ég er ekki viss, hringdu í númerið hér fyrir neðan“ annars. Takmarkaðu skilaboð við 500 stafi og 20 skilaboð á hvern gest á klukkustund. Hreint, vinalegt útlit sem virkar í símum.

Skref 2: Settu lykilinn inn sem leynilegt gildi

Búðu til lykilinn í stjórnborði þjónustuaðilans og geymdu hann síðan í umhverfisbreytum eða leyndarmálum verkefnisins, ekki í spjallinu og ekki í kóðanum. Ef lykill lendir einhvers staðar opinberlega skaltu afturkalla hann hjá þjónustuaðilanum og búa til nýjan. Hvað umhverfisbreytur og leyndarmál eru útskýrir af hverju þetta skiptir máli.

Skref 3: Prófaðu svörin, ekki bara viðmótið

Þegar spjallið virkar skaltu eyða mestum tíma í gæði svaranna. Haltu lista af 20 eða svo raunverulegum spurningum, þar á meðal nokkrum sem ættu að vera hafnaðar, og keyrðu þær í gegn eftir hverja breytingu á skipun. Athugaðu:

• Heldur það sig innan umfangsins?
• Viðurkennir það þegar það veit ekki svarið, í stað þess að finna upp svar?
• Stenst það þegar einhver reynir að yfirtaka fyrirmælin?
• Er lykillinn fjarverandi úr öllu sem vafrinn sækir?

Skref 4: Bættu við minni og aðgöngum ef þú þarft

Þegar stök samtöl virka skaltu biðja um vistaða þræði í gagnagrunni og, ef þörf er á, skráningu og innskráningu svo hver notandi sjái aðeins eigin spjall. Bættu við dagskvóta á hvern notanda á sama tíma.

Skref 5: Birtu með takmörkunum virkum

Gakktu úr skugga um að birta appið hafi sömu leyndarmál og forskoðunin, eyðsluþakið sé sett hjá þjónustuaðilanum og villur séu skráðar á stað þar sem þú sérð þær. Deildu síðan appinu með litlum hópi áður en þú setur það á aðalvefsíðuna þína.

Öryggi og traust

Spjallmenni talar við almenning í þínu nafni, svo meðhöndlaðu bilanir þess sem þitt vandamál:

• Röng svör. Líkön geta fullyrt rangt af öryggi. Haltu spjallmenninu við þröngt efni, byggðu það á þínu eigin efni og sýndu stutta athugasemd um að svör geti verið röng þegar um mikilvæg mál er að ræða.
• Skipanainnspýting (prompt injection). Notendur (eða skjöl sem spjallmennið les) geta innihaldið fyrirmæli eins og „hunsaðu fyrri reglur“. Ekki gefa spjallmenninu völd sem ekki er hægt að treysta því fyrir: engar endurgreiðslur, engar eyðingar og engir tölvupóstar sendir eftir beiðni notanda án athugunar í þínum eigin kóða.
• Viðkvæm efni. Í læknis-, lögfræði- eða fjármálaspurningum skaltu láta það benda fólki á fagaðila frekar en að gefa ráð.
• Persónuupplýsingar. Ekki líma upplýsingar um viðskiptavini inn í skipanir nema þörf sé á, og athugaðu hvað skilmálar þjónustuaðilans segja um meðferð API-gagna.

Öryggislistinn okkar fyrir AI-smíðuð öpp fjallar um allt appið.

Algeng mistök

• Að kalla á þjónustuaðilann úr vafranum. Lykillinn lekur. Farðu alltaf í gegnum þjóninn þinn.
• Engin takmörk á opnu spjallmenni. Eitt handrit getur tæmt mánaðarkostnaðinn á einum eftirmiðdegi.
• Að byrja með RAG, verkfæri og mörg líkön í einu. Fáðu eitt gott samtal til að virka fyrst; bættu við hinu þegar raunverulegar spurningar sýna að þörf er á því.
• Að prófa aðeins vinalegar spurningar. Notendur þínir munu spyrja undarlegra, fjandsamlegra og óviðkomandi spurninga strax fyrsta daginn.
• Að láta þráðinn vaxa endalaust. Kostnaður og svartími aukast með hverju skilaboði.

Þegar tilbúin vara er betri kostur

Að byggja eigið spjallmenni hefur vit þegar það er hluti af vörunni þinni, þarf þín eigin gögn eða verkflæði, eða þarf sérstakt útlit og hegðun. Það er oft röng ákvörðun þegar:

• Þú vilt aðeins þjónustuglugga á núverandi vefsíðu. Mörg þjónustuborðs- og beinna spjallkerfi bjóða nú AI-svarabotta sem les hjálparmiðstöðina þína, með yfirfærslu til manneskju, pósthólfi og skýrslum þegar tilbúnum.
• Aðeins þú eða teymið þitt notar það. Áskrift að almennum aðstoðarmanni á borð við ChatGPT eða Claude, með skjölunum þínum hlaðið upp, gæti verið allt sem þú þarft.
• Þú þarft strangar tryggingar um samræmi (til dæmis fyrir reglubundin heilsu- eða fjármálagögn). Söluaðili sem hefur þegar vottanirnar gæti verið öruggari en sérsmíði.

Að byggja það með Mythex

Mythex er AI-smiður: þú lýsir spjallmenninu í spjalli, og það skrifar viðmótið og kallið á þjónustuaðilann á þjóninum, keyrir það í lifandi forskoðun og birtir það á opinberri vefslóð. AI-hlutinn í appinu notar þinn eigin lykil hjá þjónustuaðilanum. Þú bætir honum við í leyndarmálum verkefnisins, eða í leyndarmálaspjaldinu sem Mythex sýnir í spjallinu þegar þess þarf, og notkunin er rukkuð á reikning þinn hjá þjónustuaðilanum, ekki á Mythex-byggingarinneign. Mythex lætur ekki fylgja tákn fyrir notendur appsins þíns, tilbúna þekkingarvöru eða tilbúin hraðatakmörk: þetta eru hlutir sem þú biður um og prófar. Skjalasíðan um AI inni í appinu fer í gegnum þetta og bættu AI við með þínum eigin API-lyklum hefur upphafsskipun.

Ef spjallmenninu þarf vistaða þræði bætir Mythex Postgres-gagnagrunni við verkefnið þegar þú biður um það. Fyrir fleiri leiðir til að nota líkön í appi, frá samantektum til flokkunar, sjá hvernig þú bætir AI-eiginleikum við appið þitt, eða skoðaðu appsniðmátin til að byrja með.

Spurningar