Tekoäly

Token

Englanniksi: Token

Määritelmä

Tekstin pienin yksikkö jonka tekoäly käsittelee.

Selitys

Token on tekstin pala jonka LLM käsittelee kerrallaan. Yksi token voi olla sana, sanan osa tai erikoismerkki. Englannissa yksi sana on tyypillisesti 1-2 tokenia. Tokenit ovat tärkeitä koska tekoälyn konteksti-ikkuna mitataan tokeneissa ja käyttö laskutetaan usein tokenien mukaan.

Esimerkkejä

  • "Hello world" = noin 2 tokenia
  • GPT-4:n konteksti-ikkuna on 128K tokenia
  • Pitkä koodi kuluttaa paljon tokeneita

Liittyvät termit

Konteksti

(Context)

LLM

(Large Language Model)

Vibekoodaus

(Vibe coding)

Prompt

(Prompt)

Selaa kaikkia termejä

Tutustu koko vibekoodauksen sanastoon.

Koko sanasto