LLM-rajapinnat: tokenit, kustannukset, avaimet ja ensimmäinen tekoälyominaisuus

LLM-rajapinta on verkkopalvelu, jonka avulla sovelluksesi voi lähettää tekstiä suurelle kielimallille, kuten OpenAI:n GPT-malleille, Anthropicin Claudelle tai Googlen Geminille, ja saada vastauksen takaisin koodissa. Rekisteröidyt palveluntarjoajalle, luot API-avaimen, ja sovelluksesi palvelin lähettää pyynnöt sillä. Sinulta veloitetaan jokaisesta pyynnöstä tokenien (tekstipalojen) määrän mukaan, sekä sisääntulevista että ulosmenevistä. Sovelluksen lisääminen tekoälyllä tarkoittaa yleensä juuri tätä: hyvin kirjoitettua pyyntöä toisen mallille, tehtynä turvallisesti palvelimeltasi.

Miksi tämä on tärkeää tekoälyllä rakentaessa

Tekoälyllä rakennetussa sovelluksessa on kaksi eri tekoälyä, ja niitä on helppo sekoittaa:

1. Tekoäly, joka rakentaa sovelluksen. Rakentajan oma agentti, joka kirjoittaa koodin.
2. Tekoäly sovelluksen sisällä. Ominaisuus, jota käyttäjäsi käyttävät, kuten keskustelevat avustaja, „Tiivistä tämä” -painike tai automaattinen tunnisteiden lisääminen.

Toinen kutsuu LLM-rajapintaa sinun avaimellasi ja laskuttaa sinun palveluntarjoajatilisi kautta. Tokenien, kontekstin ja hinnoittelun ymmärtäminen auttaa suunnittelemaan ominaisuuden, joka toimii, ei vuoda avaintasi eikä yllätä laskulla.

Arkinen vertaus: erittäin taitava freelancer, joka maksetaan sanoittain

Ajattele LLM-rajapintaa erittäin taitavana freelance-kirjoittajana, jonka tavoitat sähköpostilla ja jolle maksat sanoittain, sekä niistä sanoista, jotka lähetät, että niistä, jotka hän kirjoittaa takaisin (ja hänen sanansa maksavat enemmän).

• Hänellä ei ole muistia viestien välillä. Jos haluat jatkaa keskustelua, liität aiemmat viestit jokaiseen uuteen sähköpostiin.
• Hän pystyy lukemaan kerralla vain tietyn määrän. Tuo raja on kontekstin ikkuna.
• Mitä selkeämpi toimeksianto, sitä parempi ja lyhyempi vastaus, mikä myös tulee halvemmaksi.

Keskeiset käsitteet

Tokenit

Mallit lukevat ja kirjoittavat tekstiä tokeneina. Anthropicin hinnoitteludokumentaatio arvioi syyskuusta 2026 alkaen noin 4 merkkiä, eli noin 0,75 englanninkielistä sanaa, yhdeksi tokeniksi. Eri mallit ja kielet pilkkovat tekstiä eri tavoin, joten pidä tätä suuntaa antavana. Kaikki lasketaan: ohjeesi, käyttäjän viesti, mahdolliset liitetyt dokumentit, aiempi keskustelu ja vastaus.

Syöte ja tuotos

Syötetokenit ovat sitä, mitä lähetät. Tuotostokenit ovat sitä, mitä malli kirjoittaa. OpenAI:n, Anthropicin ja Googlen hinnastosivuilla syyskuusta 2026 alkaen tuotostokenit maksavat saman mallin kohdalla moninkertaisesti syötetokeneihin verrattuna. Googlen Gemini-hinnoittelu mainitsee myös, että mallin sisäinen „ajattelu” lasketaan tuotokseksi.

Kontekstin ikkuna

Suurin määrä tokeneita, jonka malli voi ottaa yhdessä pyynnössä, vastaus mukaan lukien. Nykyiset mallit hyväksyvät hyvin pitkiä syötteitä. Esimerkiksi osa Anthropicin nykyisistä malleista hyväksyy jopa miljoona tokenia. Pitkät syötteet maksavat kuitenkin enemmän ja vievät enemmän aikaa, joten lähetä vain se, mitä tehtävä tarvitsee.

Tilattomat pyynnöt

Useimmissa chat-tyyppisissä rajapinnoissa jokainen pyyntö on oletuksena itsenäinen. Jotta keskustelu „muistaisi”, sovelluksesi lähettää aiemmat viestit uudelleen jokaisen uuden viestin mukana. Siksi pitkä keskustelu maksaa viestiä kohden enemmän kuin lyhyt.

Järjestelmäkehote

Ohjeet, jotka määrittävät mallin roolin ja säännöt jokaiselle pyynnölle: „Tiivistät tukipyynnöt kolmeen luetelmakohtaan. Älä koskaan sisällytä asiakkaan sähköpostiosoitteita.” Käyttäjät eivät näe sitä, mutta se muokkaa jokaista vastausta.

Suoratoisto

API voi lähettää tekstiä sitä mukaa kuin se syntyy, eikä odottaa koko vastausta. Käyttäjät näkevät sanat heti, mikä tekee chat-käyttöliittymistä huomattavasti nopeamman tuntuisia.

Miten hinnoittelu toimii

Syyskuusta 2026 alkaen, tarkistettuna palveluntarjoajien omilta hinnastosivuilta:

Jotkut palveluntarjoajat tarjoavat myös mahdollisuuden kokeilla ennen maksamista. Anthropic antaa uusille käyttäjille pienen ilmaiskrediitin, ja Googlen Gemini API:ssa on joillakin malleilla ilmainen taso. Sen ehtona on, että siinä lähetettyä sisältöä voidaan käyttää Googlen tuotteiden kehittämiseen.

Hinnat eroavat paljon palveluntarjoajan pienten, nopeiden mallien ja suurimpien mallien välillä, ja ne muuttuvat usein, joten emme mainitse niitä tässä. Yksinkertainen arvio mille tahansa ominaisuudelle on: (syötetokenit × syötehinta + tuotostokenit × tuotoshinta) × pyyntöjen määrä kuukaudessa. Lisää siihen marginaali ja aseta kuukausikulutusraja palveluntarjoajan hallintapaneelissa.

Esimerkki: „Tiivistä tämä tiketti” -painike

Pieni asiakastukitiimi haluaa painikkeen, joka muuttaa pitkän asiakassähköpostiketjun kolmeen luetelmakohtaan ja ehdotettuun vastaukseen.

1. Hanki avain. Luo tili yhdelle palveluntarjoajalle ja luo API-avain. Aseta matala kuukausikulutusraja.
2. Tallenna avain salaisuutena palvelimellesi nimellä, kuten ANTHROPIC_API_KEY tai OPENAI_API_KEY, ei koskaan sivun koodiin. Katso ympäristömuuttujat ja salaisuudet.
3. Lisää palvelinreitti, POST /api/summarise, joka:
   • tarkistaa, että henkilö on kirjautunut ja kuuluu tukitiimiin;
   • lataa tiketin tietokannasta;
   • lähettää palveluntarjoajalle järjestelmäkehotteen („Tiivistä kolmeen kohtaan, kirjoita sitten kohtelias vastausluonnos; älä keksi tilausnumeroita”) ja tiketin tekstin;
   • rajoittaa vastauksen pituuden tuotostokenien enimmäismäärällä;
   • palauttaa tuloksen ja kirjaa käytettyjen tokenien määrän.
4. Painike kutsuu omaa reittiäsi, ei palveluntarjoajaa, ja näyttää yhteenvedon sitä mukaa kuin se syntyy.
5. Käsittele virheet. Jos palveluntarjoaja on hidas tai palauttaa virheen, näytä „Yhteenvedon teko ei onnistu juuri nyt” ja pidä tiketti käytettävissä.
6. Mittaa. Viikon kuluttua katso tokenilokeja. Jos suurin osa kustannuksista tulee pitkistä sähköpostiketjuista, karsi lainattu historia ennen lähettämistä.

Huomaa, mitä siinä ei ole: ei mallin koulutusta, ei erityistä infrastruktuuria. Yksi avain, yksi palvelinreitti ja yksi hyvin kirjoitettu kehote.

Keskeiset termit

• API-avain: salaisuus, joka tunnistaa tilisi palveluntarjoajalle. Kuka tahansa, jolla se on, voi käyttää rahojasi.
• Malli: tarkka LLM, jota kutsut. Palveluntarjoajat tarjoavat useita kokoja eri hinnoilla ja nopeuksilla.
• Lämpötila: asetus, joka määrittää, kuinka vaihtelevia vastaukset ovat. Matalampi on ennustettavampi.
• Maksimitokenit: vastauksen pituuden raja, joka rajaa myös kustannuksia.
• Nopeusrajoitus: kuinka monta pyyntöä tai tokenia tilisi saa käyttää minuutissa.
• Upotukset (embeddings): lukuja, jotka edustavat tekstin merkitystä ja joita käytetään omien dokumenttien hakuun.
• RAG (haku täydennetyllä generoinnilla): omien tietojesi olennaisten kohtien etsiminen ja lisääminen kehotteeseen, jotta malli vastaa sisältösi pohjalta.
• Työkalujen käyttö / funktiokutsut: mallin mahdollistaminen pyytää sovellustasi suorittamaan tietty funktio, kuten „hae tilauksen tila”.

Yleisiä virheitä ja väärinkäsityksiä

• Avaimen laittaminen käyttöliittymän koodiin. Kallein virhe. Selainkoodi on julkista. Kutsu aina palvelimelta. Tietoturvatarkistuslista tekoälyllä rakennetuille sovelluksille käsittelee tämän muiden julkaisutarkistusten kanssa.
• Ei kulutusrajaa eikä käyttäjäkohtaisia rajoja. Virhe, silmukka tai väärinkäyttäjä voi kasvattaa kustannukset nopeasti. Aseta palveluntarjoajan raja ja rajoita pyyntöjä käyttäjää kohden sovelluksessasi.
• Kaiken lähettäminen joka kerta. Kokonaiset dokumentit ja koko keskushistoriat moninkertaistavat syötetokenit. Karsi, tiivistä vanhemmat viestit tai hae vain olennaiset osat.
• Tuotoksen sokea luottaminen. Mallit voivat esittää vääriä asioita varmasti. Faktoissa, hinnoissa tai oikeudellisissa ja lääketieteellisissä asioissa perusta vastaukset omiin tietoihisi ja näytä lähteet tai anna ihmisen tarkistaa.
• Käyttäjän syötteen ohittaa sääntösi. Käyttäjät voivat kirjoittaa „unohda ohjeesi”. Pidä oikeudet ja arkaluonteiset toiminnot palvelimesi koodissa, ei pelkästään kehotteessa.
• Suurimman mallin valitseminen heti. Kokeile ensin pienempää, halvempaa mallia. Siirry suurempaan vain, jos laatu sitä vaatii.
• Henkilötietojen lähettäminen ajattelematta. Tarkista palveluntarjoajan tiedonkäyttöehdot, erityisesti ilmaisilla tasoilla, ja lähetä vain se, mitä ominaisuus tarvitsee.

Mitä pyytää tekoälyrakentajalta

Lisää „Tiivistä”-painike tikettisivulle. Se kutsuu palvelinreittiä, joka käyttää salaisuutta OPENAI_API_KEY (ei koskaan selaimelle näkyvä), tarkistaa että käyttäjä on kirjautunut, lähettää tiketin tekstin tällä järjestelmäkehotteella: […], rajoittaa vastauksen 300 tokeniin, suoratoistaa vastauksen sivulle ja näyttää ystävällisen virheilmoituksen, jos kutsu epäonnistuu. Kirjaa käytetyt tokenit pyynnöittäin ja rajoita jokaista käyttäjää 30 yhteenvetoon tunnissa.

Jos haluat täyden chat-kokemuksen, katso miten rakentaa tekoälychatbot-sovellus. Muita ideoita löydät kohdasta miten lisätä tekoälyominaisuuksia sovellukseesi. Jos rajapinnat ovat sinulle uusia, aloita mikä API on.

LLM-rajapinnat Mythexillä rakennetuissa sovelluksissa

Kun rakennat Mythexillä, sovelluksesi sisällä oleva tekoäly käyttää omaa palveluntarjoajan avaintasi. Lisäät sen projektin salaisuutena tai salaisuuskortin kautta, jonka Mythex näyttää chatissa tarvittaessa, ja pyydät agenttia tekemään kutsun palvelimella. Palveluntarjoajan käyttö laskutetaan palveluntarjoajatilisi kautta, ei Mythexin rakennuskrediiteillä. Mythex ei sisällytä tokeneita sovelluksesi käyttäjille eikä valmista tietopankkituotetta. Nopeusrajat ja kustannusten hallinta ovat sinun suunniteltavissasi ja testattavissasi. Dokumentaation resepti lisää tekoälyominaisuuksia omilla API-avaimilla sisältää aloituskehotteen, ja tekoälysovelluskehittäjä -sivu näyttää, mistä aloittaa.

Kysymykset