Tekoäly

Prompt caching

Englanniksi: Prompt caching

Suora vastaus: mitä tällä termisivulla on?

  • Ytimekäs määritelmä: saat heti vastauksen mitä termi tarkoittaa vibekoodauksen kontekstissa.
  • Käytännön selitys: mukana on pidempi avaus ja esimerkkejä termin käytöstä.
  • Jos haluat oppia kokonaisuuden: siirry oppimispolkuihin osoitteessa `/vibekoodaus/oppimispolut`.

Määritelmä

Malli- tai palvelutason välimuisti toistuviin promptikutsuihin.

Selitys

Prompt caching tarkoittaa, että usein toistuvat syotteet tai niiden osat kaytetaan valimuistista, jolloin vastausaika lyhenee ja kustannus pienenee. Erityisen hyodyllista se on, kun samaa runkopyyntoa kaytetaan eri syotearvoilla. Sisaltotuotannossa ja automatisoiduissa pipelineissa caching voi olla merkittava optimointi.

Esimerkkejä

  • Sama system prompt kaytetaan tuhansissa pyynnoissa
  • Sivupohjan vakiokysymykset cachetetaan
  • Kustannus laskee, kun toistuva osa ei lasketa aina uudelleen

Liittyvät termit

Token

(Token)

Eval harness

(Evaluation harness)

Guardrails

(Guardrails)

Vibekoodaus

(Vibe coding)

Selaa kaikkia termejä

Tutustu koko vibekoodauksen sanastoon.

Koko sanasto