Tekoäly

Token

Englanniksi: Token

Suora vastaus: mitä tällä termisivulla on?

  • Ytimekäs määritelmä: saat heti vastauksen mitä termi tarkoittaa vibekoodauksen kontekstissa.
  • Käytännön selitys: mukana on pidempi avaus ja esimerkkejä termin käytöstä.
  • Jos haluat oppia kokonaisuuden: siirry oppimispolkuihin osoitteessa `/vibekoodaus/oppimispolut`.

Määritelmä

Tekstin pienin yksikkö jonka tekoäly käsittelee.

Selitys

Token on tekstin pala jonka LLM käsittelee kerrallaan. Yksi token voi olla sana, sanan osa tai erikoismerkki. Englannissa yksi sana on tyypillisesti 1-2 tokenia. Tokenit ovat tärkeitä koska tekoälyn konteksti-ikkuna mitataan tokeneissa ja käyttö laskutetaan usein tokenien mukaan.

Esimerkkejä

  • "Hello world" = noin 2 tokenia
  • GPT-4:n konteksti-ikkuna on 128K tokenia
  • Pitkä koodi kuluttaa paljon tokeneita

Liittyvät termit

Konteksti

(Context)

LLM

(Large Language Model)

Konteksti-ikkuna

(Context window)

Vibekoodaus

(Vibe coding)

Selaa kaikkia termejä

Tutustu koko vibekoodauksen sanastoon.

Koko sanasto