Hvernig á að bæta gervigreindareiginleikum við appið þitt

Til að bæta gervigreindareiginleikum við appið þitt kallarðu á API stórs málmódels (LLM) frá þjóninum: sendir því skýr fyrirmæli ásamt viðeigandi gögnum og notar það sem til baka kemur. Flestir gagnlegir eiginleikar falla í einn af fjórum flokkum — samantekt, spjall, útdráttur á skipulögðum gögnum og flokkun — og hver þeirra er nokkrir tugir línna af kóða sem gervigreindarsmíðatól getur skrifað fyrir þig. Það sem ræður því hvort eiginleikinn sé góður er það sem umlykur kallið: að halda API-lyklinum á þjóninum, stjórna kostnaði á hvern notanda og athuga úttakið áður en þú treystir því.

Fjögur mynstur að baki flestum gervigreindareiginleikum

Útdráttur og flokkun eru oft verðmætust og minnst sýnileg. Þau spara einhverjum nokkrar mínútur á hverri færslu, og þar sem úttakið hefur fast form geturðu athugað það sjálfvirkt. Spjall er sýnilegast en erfiðast að gera rétt, og hefur sína eigin leiðbeiningu: hvernig á að smíða spjallmenni með gervigreind.

Hvernig þetta passar inn í appið þitt

Hvert mynstur hefur sömu lögun:

1. Notandinn gerir eitthvað — smellir á „Draga saman“, hleður upp skrá, sendir skilaboð.
2. Framendinn kallar á þinn eigin þjón, ekki á gervigreindarveituna.
3. Þjónninn þinn smíðar beiðnina: kerfisfyrirmæli, inntak notandans og þau gögn sem líkanið þarf úr gagnagrunninum þínum — aðeins gögn sem þessi notandi má sjá.
4. Þjónninn þinn kallar á LLM API með lykli sem er geymdur í umhverfisbreytu.
5. Þjónninn þinn athugar svarið — gilt JSON, þekktan merkimiða, hæfilega lengd — og vistar það eða skilar því.
6. Framendinn sýnir niðurstöðuna, og streymir texta eftir því sem hann berst í lengri svör.

Lykillinn er á þjóninum í skrefi 4 og nær aldrei vafranum. Ef hugmyndin um API er ný fyrir þér er hvað er API stutt kynning, og hvernig á að nota LLM API fjallar nánar um tókena, líkön og lykla.

Að velja veitu og líkan

Helstu veiturnar — OpenAI, Anthropic, Google og fleiri — bjóða allar textaforritaskil (API) með svipaðri lögun. Gagnlegar spurningar við valið:

• Gæði á þínu verkefni. Prófaðu nokkur raunveruleg dæmi úr appinu þínu á tvö eða þrjú líkön. Munurinn er oft skýrari á þínum gögnum en í almennum samanburðum.
• Stærð vs. kostnaður. Veiturnar bjóða stærri, hæfari líkön og minni, ódýrari og hraðari. Flokkun og einfaldur útdráttur virka oft vel á litlu líkani; löng rökleiðsla eða blæbrigðarík skrif gætu þurft stærra.
• Skipulagt úttak. Fyrir útdrátt og flokkun skaltu velja API-eiginleika sem lætur líkanið skila JSON sem passar við skema sem þú gefur, frekar en að þátta frjálsan texta.
• Meðhöndlun gagna. Lestu skilmála veitunnar um hvort inntak API-anna sé geymt eða notað til þjálfunar, og hvort það henti þeim gögnum sem notendur gefa þér.
• Mörk. Ný aðgangar hafa oft lægri hraðamörk; athugaðu þau áður en þú ferð í loftið.

Líkanaheiti og verð breytast oft, svo kóðinn ætti að lesa heiti líkansins úr stillingum frekar en að hengja það fast á mörgum stöðum.

Að bæta við eiginleika, skref fyrir skref

Tökum dæmi: lítið CRM-kerfi þar sem hver tengiliður er með langa sögu athugasemda.

1. Geymdu lykilinn. Búðu til lykil í mælaborði veitunnar og vistaðu hann sem leyndarmál á þjóninum, til dæmis OPENAI_API_KEY eða ANTHROPIC_API_KEY.

2. Biddu um einn afmarkaðan eiginleika:

Bættu „Draga saman“ hnappi á tengiliðasíðuna. Á þjóninum sendirðu síðustu 20 athugasemdir tengiliðarins til [VEITA] með leyndarmálinu [ENV-HEITI], með fyrirmælum um að skrifa þrjá punkta: núverandi stöðu, opnar spurningar og næsta skref. Hafðu aðeins með athugasemdir sem innskráði notandinn getur séð. Sýndu hleðsluástand, vistaðu samantektina með tímastimpli og sýndu „Gat ekki dregið saman í augnablikinu“ ef kallið mistekst. Sendu aldrei lykilinn í vafrann.

3. Bættu við útdrætti þar sem það sparar innslátt:

Þegar notandi límir undirskrift úr tölvupósti í reitinn „Fljótleg viðbót“, kallaðu á [VEITA] á þjóninum og skilaðu JSON með nafni, fyrirtæki, starfsheiti, netfangi og símanúmeri, með skipulögðu úttaksaðgerð veitunnar. Staðfestu JSON á þjóninum, forfylltu nýja tengiliðseyðublaðið með því og leyfðu notandanum að breyta áður en hann vistar. Skildu reiti eftir auða frekar en að giska.

„Leyfðu notandanum að breyta áður en hann vistar“ er mikilvægi hlutinn: líkanið leggur til, manneskjan ákveður.

4. Flokkaðu í bakgrunni:

Þegar nýþjónustubeiðni berst, flokkaðu hana í nákvæmlega eitt af: reikningur, villa, beiðni um eiginleika, aðgangur að reikningi, annað. Notaðu lítið og ódýrt líkan. Ef svarið er ekki einn af þessum merkimiðum, vistaðu „annað“. Sýndu merkimiðann sem breytanlegt merki.

5. Prófaðu með óreiðukenndum raungögnum — löngum athugasemdum, tómum athugasemdum, öðrum tungumálum, undirskrift án símanúmers — og skoðaðu tuttugu úttök hlið við hlið áður en þú sendir í loftið.

Að skrifa fyrirmæli sem virka

Fyrirmælin sem þú sendir með hverri beiðni (oft kölluð kerfisfyrirmæli) eru þar sem gæðin koma frá.

• Segðu hverjum það er ætlað og hvað gott er. „Samantektir eru lesnar af sölumanni á 10 sekúndum fyrir símtal“ gefur líkaninu markmið.
• Festu sniðið. Nákvæmur fjöldi punkta, lengdarmörk, reitir, merkimiðar.
• Segðu hvað eigi að gera þegar það er óvíst. „Ef athugasemdirnar nefna ekki næsta skref, skrifaðu „Ekkert næsta skref skráð““. Þetta dregur úr tilbúnum svörum.
• Gefðu tvö eða þrjú dæmi um gott inntak og úttak fyrir útdrátt og flokkun.
• Haltu fyrirmælum aðskildum frá efni notandans, og merktu efni notandans skýrt, svo líkanið greini þau í sundur.

Geymdu fyrirmælin í skrám í kóðagrunninum þínum, svo þau séu útgáfumerkt og yfirfarin eins og annar kóði.

Að halda kostnaði í skefjum

LLM API-ar rukka eftir tókenum — litlum textabútum — bæði fyrir það sem þú sendir og fyrir það sem til baka kemur. Kostnaðurinn vex með magni samhengis í hverri beiðni margfölduðu með því hversu oft hún keyrir. Hagnýt stjórntæki:

• Sendu aðeins það sem þarf. Síðustu 20 athugasemdirnar, ekki alla söguna. Styttu löng skjöl eða skiptu þeim upp.
• Notaðu minnsta líkanið sem nægir. Prófaðu áður en þú tekur það stærsta sem sjálfgefið.
• Takmarkaðu lengd úttaks með hámarksfjölda tókena í API-inu.
• Geymdu niðurstöður í skyndiminni. Vistaðu samantekt og endurgerðu hana aðeins þegar uppspretta breytist, í stað þess að gera það í hvert skipti sem síða er skoðuð.
• Takmarkaðu á hvern notanda. Dagleg mörk á hvern aðgang eða áætlun stoppa einn þungan notanda, eða eitt skript, frá því að hækka reikninginn.
• Settu hraðatakmarkanir á endapunktinn eins og á öðrum dýrum leiðum.
• Settu fjárhagsáætlun eða viðvörun í mælaborði veitunnar og athugaðu notkunina vikulega eftir opnun.
• Skráðu tókenanotkun fyrir hvern eiginleika svo þú vitir hvað hver þeirra kostar.

Ef gervigreindareiginleikar eru kjarninn í vörunni þinni, reiknaðu rekstrarkostnaðinn inn í verðlagninguna í stað þess að taka hann á þig.

Öryggi og traust

Úttak gervigreindar er líkindabundið. Það getur verið rangt þó það hljómi öruggt, og textinn sem það les getur stýrt því. Byggðu með það í huga:

• Meðhöndlaðu úttak sem óáreiðanlegt inntak. Staðfestu uppbyggingu, forðastu HTML-innsprautun áður en það er birt sem HTML, og láttu það aldrei keyra sem kóða eða gagnagrunnsfyrirspurnir.
• Hafðu manneskju í lykkjunni við allt sem hefur afleiðingar — senda tölvupóst, breyta færslu, endurgreiða greiðslu. Líkanið semur drög; manneskja staðfestir.
• Varastu prompt injection. Skjal eða skilaboð gætu innihaldið texta eins og „hunsaðu fyrirmælin þín“. Takmarkaðu hvað líkanið sér við það sem núverandi notandi má sjá, og gefðu því ekki verkfæri sem geta gripið til viðkvæmra aðgerða án þess að kóðinn þinn athugi heimildir fyrst.
• Merktu efni gervigreindar svo notendur viti að samantekt eða tillaga var búin til og geti athugað hana.
• Bregstu vel við villum. Veitur lenda í truflunum og hraðatakmörkunum. Settu tímamörk, sýndu skýr skilaboð og leyfðu restinni af appinu að virka áfram.
• Fylgstu með hvað notendur senda. Fyrir opna textareiti skaltu íhuga yfirferðarskref og vera skýr í persónuverndarstefnunni um að efni sé unnið af þriðja aðila gervigreindarveitu.

Ítarlegri listi yfir athuganir er í öryggisgátlistanum fyrir gervigreindarsmíðuð öpp.

Algeng mistök

• Að byrja á almennu spjallmenni þegar einn hnappur „Draga saman“ eða „Flokka“ myndi hjálpa fleirum.
• Setja lykilinn í framendakóðann eða í opna kóðageymslu.
• Senda allan gagnagrunninn sem samhengi, sem er hægt, dýrt og setur gögn annarra notenda í hættu.
• Treysta frjálsum texta þar sem skema eða fastur merkimiðalisti myndi gera hann hægt að athuga.
• Engin mörk á hvern notanda, uppgötvað þegar fyrsti reikningurinn berst.

Gervigreindareiginleikar með Mythex

Í Mythex bætirðu gervigreind inn í eigið app með því að biðja um hana í spjallinu, með þínum eigin lykli hjá veitunni. Geymdu lykilinn sem leyndarmál verkefnisins — þegar agentinn þarf á honum að halda birtir Mythex leyndarmálskort í spjallinu svo þú þurfir ekki að líma lykilinn í samtalið — og agentinn skrifar þjónsleiðina, fyrirmælin og viðmótið. Notkun gervigreindar í appinu þínu er rukkuð af veitunni þinni, aðskilin frá Mythex-inneignunum sem þú notar í smíðinni. Skjölin eru með upphafsfyrirmæli í bættu gervigreind við með þínum eigin API-lyklum.

Spurningar