Tekoälyominaisuuksien lisääminen sovellukseesi

Tekoälyominaisuuden lisääminen sovellukseesi tarkoittaa, että kutsut suurta kielimallia (LLM) rajapinnan kautta palvelimeltasi: lähetät sille selkeät ohjeet ja asiaankuuluvan datan ja käytät palautuvaa tulosta. Useimmat hyödylliset ominaisuudet kuuluvat neljään malliin — tiivistäminen, chat, rakenteisen datan poiminta ja luokittelu — ja jokainen on muutaman kymmenen rivin koodia, jonka tekoälyavusteinen sovelluskehittäjä voi kirjoittaa puolestasi. Ratkaisevaa ominaisuuden laadussa on kuitenkin kutsun ympärillä oleva työ: API-avaimen pitäminen palvelimella, kustannusten hallinta käyttäjää kohti ja tuloksen tarkistaminen ennen kuin luotat siihen.

Neljä mallia, joilla useimmat tekoälyominaisuudet toimivat

Poiminta ja luokittelu ovat usein arvokkaimmat ja vähiten näkyvät. Ne säästävät jollekulle muutaman minuutin jokaisesta tietueesta, ja koska tulos on kiinteä muoto, voit tarkistaa sen automaattisesti. Chat on näkyvin mutta vaikein saada kuntoon, ja sille on oma oppaansa: miten rakentaa tekoälychatbot-sovellus.

Miten se sopii sovellukseesi

Jokaisella mallilla on sama rakenne:

1. Käyttäjä toimii — klikkaa ”Tiivistä”, lataa tiedoston tai lähettää viestin.
2. Frontend kutsuu omaa palvelintasi, ei tekoälypalveluntarjoajaa.
3. Palvelimesi rakentaa pyynnön: järjestelmäohjeet, käyttäjän syöte ja mahdollinen data tietokannastasi — vain data, jonka tämä käyttäjä saa nähdä.
4. Palvelimesi kutsuu LLM-rajapintaa avaimella, joka on tallennettu ympäristömuuttujaan.
5. Palvelimesi tarkistaa vastauksen — kelvollinen JSON, tunnettu nimike, järkevä pituus — ja tallentaa tai palauttaa sen.
6. Frontend näyttää sen ja suoratoistaa pidemmät vastaukset, kun ne saapuvat.

Avain on palvelimella vaiheessa 4 eikä koskaan saavuta selainta. Jos API-käsite on uusi, mikä API on on lyhyt johdanto, ja miten LLM-rajapintoja käytetään kattaa tokenit, mallit ja avaimet syvemmin.

Palveluntarjoajan ja mallin valinta

Suuret palveluntarjoajat — OpenAI, Anthropic, Google ja muut — tarjoavat kaikki tekstirajapintoja, joilla on suunnilleen samanlainen rakenne. Hyödyllisiä kysymyksiä valintaa tehdessä:

• Laatu omassa tehtävässäsi. Kokeile muutamaa oikeaa esimerkkiä sovelluksestasi kahdella tai kolmella mallilla. Erot näkyvät usein paremmin omalla datallasi kuin yleisissä vertailuissa.
• Koko vs. hinta. Palveluntarjoajilla on suurempia, kykenevämpiä malleja sekä pienempiä, halvempia ja nopeampia. Luokittelu ja yksinkertainen poiminta toimivat usein hyvin pienellä mallilla; pitkä päättely tai hienovarainen kirjoittaminen voi vaatia suuremman.
• Rakenteinen tulos. Poimintaan ja luokitteluun kannattaa valita rajapinnan ominaisuus, joka saa mallin palauttamaan JSON-muotoa, joka vastaa antamaasi skeemaa, sen sijaan että jäsentäisit vapaata tekstiä.
• Datankäsittely. Lue palveluntarjoajan ehdot siitä, tallennetaanko rajapinnan syötteitä tai käytetäänkö niitä koulutukseen, ja sopiiko se datalle, jonka käyttäjäsi antavat.
• Rajat. Uusilla tileillä on usein matalammat kutsurajat; tarkista ne ennen julkaisua.

Mallien nimet ja hinnat muuttuvat usein, joten koodin kannattaa lukea mallin nimi asetuksista eikä kovakoodata sitä moneen paikkaan.

Ominaisuuden lisääminen vaihe vaiheelta

Otetaan konkreettinen esimerkki: pieni CRM, jossa jokaisella yhteyshenkilöllä on pitkä muistiinpanohistoria.

1. Tallenna avain. Luo avain palveluntarjoajan hallintapaneelissa ja tallenna se palvelimen salaisuutena, esimerkiksi OPENAI_API_KEY tai ANTHROPIC_API_KEY.

2. Pyydä yksi kapea ominaisuus:

Lisää yhteyshenkilösivulle ”Tiivistä”-painike. Palvelimella lähetä yhteyshenkilön viimeiset 20 muistiinpanoa palveluntarjoajalle [PROVIDER] salaisuudella [ENV_NAME], ohjeella kirjoittaa kolme luettelokohtaa: nykytila, avoimet kysymykset ja seuraava askel. Sisällytä vain muistiinpanot, jotka kirjautunut käyttäjä saa nähdä. Näytä lataustila, tallenna tiivistelmä aikaleimalla ja näytä ”Tiivistämistä ei voitu tehdä juuri nyt”, jos kutsu epäonnistuu. Älä koskaan lähetä avainta selaimeen.

3. Lisää poiminta, missä se säästää kirjoittamista:

Kun käyttäjä liittää sähköpostin allekirjoituksen ”Pikalisää”-kenttään, kutsu palveluntarjoajaa [PROVIDER] palvelimella ja palauta JSON, jossa ovat nimi, yritys, tehtävänimike, sähköposti ja puhelin, käyttäen palveluntarjoajan rakenteisen tuloksen ominaisuutta. Validoi JSON palvelimella, täytä uusi yhteyshenkilölomake sillä ja anna käyttäjän muokata ennen tallennusta. Jätä kentät tyhjiksi sen sijaan, että arvaisit.

Tärkeintä on ”anna käyttäjän muokata ennen tallennusta”: malli ehdottaa, ihminen päättää.

4. Luokittele taustalla:

Kun uusi tukitiketti saapuu, luokittele se täsmälleen yhteen seuraavista: laskutus, virhe, ominaisuuspyyntö, tilin käyttöoikeus, muu. Käytä pientä ja edullista mallia. Jos vastaus ei ole jokin näistä nimikkeistä, tallenna ”muu”. Näytä nimike muokattavana tagina.

5. Testaa sotkuisella oikealla datalla — pitkät muistiinpanot, tyhjät muistiinpanot, muut kielet, allekirjoitus ilman puhelinnumeroa — ja vertaile kahtakymmentä tulosta rinnakkain ennen julkaisua.

Toimivien ohjeiden kirjoittaminen

Jokaisen pyynnön mukana lähetettävät ohjeet (usein kutsutaan järjestelmäkehotteeksi) ovat se kohta, josta laatu syntyy.

• Kerro, kenelle se on tarkoitettu ja mikä on hyvää. ”Myyjä lukee yhteenvedon 10 sekunnissa ennen puhelua” antaa mallille tavoitteen.
• Kiinnitä muoto. Tarkka määrä viivoja, pituusraja, kentät, nimikkeet.
• Kerro, mitä tehdä epävarmana. ”Jos muistiinpanot eivät mainitse seuraavaa askelta, kirjoita ’Seuraavaa askelta ei ole kirjattu’.” Tämä vähentää keksittyjä vastauksia.
• Anna kaksi tai kolme esimerkkiä hyvästä syötteestä ja tuloksesta poimintaa ja luokittelua varten.
• Pidä ohjeet erillään käyttäjän sisällöstä ja nimeä käyttäjän sisältö selkeästi, jotta malli erottaa ne.

Säilytä kehotteet koodikannassasi tiedostoissa, jotta niitä voi versioida ja tarkistaa kuten mitä tahansa koodia.

Kustannusten hallinta

LLM-rajapinnat veloittavat tokeneista — pienistä tekstipaloista — sekä lähetetystä että palautuvasta sisällöstä. Kustannus kasvaa pyyntöä kohti käytettävän kontekstin määrän ja ajokertojen mukaan. Käytännön keinoja:

• Lähetä vain tarvittava. Viimeiset 20 muistiinpanoa, ei koko historiaa. Lyhennä pitkiä asiakirjoja tai pilko ne.
• Käytä pienintä mallia, joka tehtävän hoitaa. Testaa ennen kuin valitset suurimman.
• Rajoita vastauksen pituutta rajapinnan enimmäistokenien asetuksella.
• Välimuistita tulokset. Tallenna tiivistelmä ja luo se uudelleen vain, kun lähde muuttuu, sen sijaan että luot sen joka sivunäytöllä.
• Rajaa käyttäjää kohti. Päiväraja tilillä tai paketissa estää yhtä raskasta käyttäjää tai skriptiä kasvattamasta laskua.
• Rajoita pyyntöjen määrää päätepisteessä kuten mitä tahansa kallista reittiä.
• Aseta budjetti tai hälytys palveluntarjoajan hallintapaneeliin ja tarkista kulutus viikoittain julkaisun jälkeen.
• Kirjaa tokenien käyttö ominaisuuksittain, jotta tiedät, mikä maksaa mitäkin.

Jos tekoälyominaisuudet ovat tuotteesi ytimessä, ota niiden käyttökustannus huomioon hinnoittelussa sen sijaan, että imet sen itseesi.

Turvallisuus ja luottamus

Tekoälyn tulos on todennäköisyyspohjaista. Se voi olla väärin samalla varmalla äänensävyllä, ja lukemansa teksti voi ohjata sitä. Rakenna sen mukaan:

• Käsittele tulosta epäluotettavana syötteenä. Validoi rakenne, escapeta ennen HTML-renderöintiä ja älä koskaan aja sitä koodina tai tietokantakyselyinä.
• Pidä ihminen mukana kaikessa, millä on seurauksia — sähköpostin lähettäminen, tietueen muuttaminen, maksun palauttaminen. Malli luonnostelee; ihminen vahvistaa.
• Suojaudu prompt injectionilta. Asiakirja tai viesti voi sisältää tekstiä kuten ”unohda ohjeesi”. Rajoita, mitä malli näkee, siihen mitä nykyinen käyttäjä saa nähdä, äläkä anna sille työkaluja, jotka voivat tehdä arkaluonteisia toimia ilman, että koodisi tarkistaa oikeudet ensin.
• Merkitse tekoälysisältö, jotta käyttäjät tietävät, että yhteenveto tai ehdotus on luotu tekoälyllä ja he voivat tarkistaa sen.
• Käsittele virheet hallitusti. Palveluntarjoajilla on katkoksia ja kutsurajoja. Aseta aikakatkaisu, näytä selkeä viesti ja anna muun sovelluksen toimia edelleen.
• Seuraa, mitä käyttäjät lähettävät. Avoimille tekstikentille kannattaa harkita moderointivaihetta, ja tietosuojakäytännössäsi kannattaa kertoa selvästi, että sisältö käsitellään kolmannen osapuolen tekoälypalveluntarjoajalla.

Laajempi tarkistuslista on tekoälyllä rakennettujen sovellusten tietoturvatarkistuslistassa.

Yleisimmät virheet

• Aloitetaan yleisellä chatbotilla, vaikka yksi ”Tiivistä”- tai ”Luokittele”-painike auttaisi useampia ihmisiä.
• Avaimen laittaminen frontend-koodiin tai julkiseen koodivarastoon.
• Koko tietokannan lähettäminen kontekstina, mikä on hidasta, kallista ja vaarantaa muiden käyttäjien datan.
• Vapaan tekstin tulokseen luottaminen, kun skeema tai kiinteä nimikejoukko tekisi siitä tarkistettavan.
• Ei käyttäjäkohtaisia rajoja, joka huomataan vasta ensimmäisen laskun tullessa.

Tekoälyominaisuudet Mythexillä

Mythexissä lisäät tekoälyn omaan sovellukseesi pyytämällä sitä chatissa omalla palveluntarjoajan avaimellasi. Tallenna avain projektin salaisuutena — kun agentti tarvitsee sen, Mythex näyttää chatissa salaisuuskortin, joten avainta ei tarvitse liittää keskusteluun — ja agentti kirjoittaa palvelinreitin, kehotteet ja käyttöliittymän. Sovelluksesi tekoälykäytön laskuttaa palveluntarjoajasi, erillään Mythex-krediiteistä, joita käytät rakentamiseen. Dokumentaatiossa on aloituskehote kohdassa lisää tekoälyominaisuudet omilla API-avaimilla.

Kysymykset