Tekoäly

Token

Englanniksi: Token

Suora vastaus: mitä tällä termisivulla on?

  • Ytimekäs määritelmä: saat heti vastauksen mitä termi tarkoittaa vibekoodauksen kontekstissa.
  • Käytännön selitys: mukana on pidempi avaus ja esimerkkejä termin käytöstä.
  • Jos haluat oppia kokonaisuuden: siirry oppimispolkuihin osoitteessa `/vibekoodaus/oppimispolut`.

Määritelmä

Tekstin pienin yksikkö jonka tekoäly käsittelee kerrallaan, esimerkiksi sana tai sanan osa.

Selitys

Token on tekstin pala jonka LLM käsittelee kerrallaan. Yksi token voi olla sana, sanan osa tai erikoismerkki. Englannissa yksi sana on tyypillisesti 1-2 tokenia. Tokenit ovat tärkeitä koska tekoälyn konteksti-ikkuna mitataan tokeneissa ja käyttö laskutetaan usein tokenien mukaan.

Esimerkkejä

  • "Hello world" = noin 2 tokenia
  • GPT-4:n konteksti-ikkuna on 128K tokenia
  • Pitkä koodi kuluttaa paljon tokeneita

Liittyvät termit

Konteksti

(Context)

LLM

(Large Language Model)

Konteksti-ikkuna

(Context window)

Vibekoodaus

(Vibe coding)

Selaa kaikkia termejä

Tutustu koko vibekoodauksen sanastoon.

Koko sanasto