Token on tekstin pala, jonka tekoälymalli käsittelee yhtenä yksikkönä. Se voi olla kokonainen sana, sanan osa tai välimerkki.
Token · Tekoäly
Token suomeksi on tokeni tai sanapala: tekstin pätkä, jonka kielimalli käsittelee yhtenä yksikkönä. Kielitieteessä tokenista käytetään suomeksi sanaa sane, mutta tekoälystä puhuttaessa sanotaan yleensä token tai tokeni.
Token on pienin yksikkö jonka tekoäly käsittelee kerrallaan: se voi olla sana, sanan osa tai erikoismerkki. Englannissa yksi sana on tyypillisesti 1-2 tokenia, suomessa usein enemmän koska sanat ovat pidempiä. Vibekoodauksessa tokeneita kannattaa ymmärtää kahdesta syystä: konteksti-ikkuna mitataan tokeneissa (esim. 128K tokenia = noin 100K sanaa) ja monissa palveluissa laskutetaan tokenien mukaan. Kun työskentelet ison koodikannan kanssa, tokeniraja voi tulla vastaan, ja silloin kannattaa antaa tekoälylle vain relevantit tiedostot koko projektin sijaan.
Tekoälyn yhteydessä token on sanapala eli tekstin osa, jonka kielimalli käsittelee yhtenä yksikkönä. Kielitieteessä tokenista käytetään suomeksi sanaa sane, mutta tekoälystä puhuttaessa sanotaan yleensä token tai tokeni. Kryptovaluutoissa ja tietoturvassa samalla sanalla on omat merkityksensä, esimerkiksi digitaalinen arvomerkki tai kirjautumistunniste.
Se riippuu kielestä ja mallista. Lyhyt englanninkielinen sana on usein yksi token, mutta pitkät suomenkieliset sanat jakautuvat useaksi tokeniksi, koska taivutuspäätteet ja yhdyssanat pilkotaan osiin. Siksi sama teksti kuluttaa suomeksi yleensä enemmän tokeneita kuin englanniksi.
Tokenit määräävät kaksi asiaa: kuinka paljon tekstiä mahtuu mallin konteksti-ikkunaan ja paljonko rajapinnan käyttö maksaa. Tekoälypalveluiden API-hinnat ilmoitetaan yleensä miljoonaa tokenia kohden, erikseen syötteelle ja vastaukselle.
"Hello world" = noin 2 tokenia, "Hei maailma" = noin 3 tokenia
Claude 3.5 Sonnetin konteksti-ikkuna on 200K tokenia
Pitkä kooditiedosto voi kuluttaa tuhansia tokeneita kontekstista
Suomen kielen pitkät sanat kuluttavat enemmän tokeneita kuin englanti
Tutustu kaikkiin vibekoodauksen termeihin.