Edistynyt🧪 Testaus

Promptin A/B-testi

Vertaa kahta promptia samalla datasetilla ja valitse parempi.

Prompti

Vertaa Prompt A:ta ja Prompt B:tä seuraavalla testidatalla.

Prompt A:
[PROMPT_A]

Prompt B:
[PROMPT_B]

Testidata:
[TESTIDATA]

Arvioi:
1) tarkkuus
2) nopeus
3) virheiden määrä
4) johdonmukaisuus

Anna lopuksi selkeä suositus ja parannettu hybridiversio.

Suomenkieliset vinkit

  • Sana "selkeä suositus" estää epäröivät vastaukset

Muuttujat

Korvaa nämä hakasulkeissa olevat muuttujat omilla tiedoillasi:

  • [PROMPT_A]
  • [PROMPT_B]
  • [TESTIDATA]

Esimerkki

Täytetty prompti

Vertaa Prompt A:ta ja Prompt B:tä seuraavalla testidatalla...

Prompt A: "Korjaa bugi"
Prompt B: "Korjaa bugi vaiheittain, lisää testit ja perustelut"
Testidata: 10 todellista bugiraporttia

Tulos

Saat datalla perustellun valinnan, et mututuntumaa.

Vinkit

  • Kaytä samaa testidataa molemmille
  • Pisteyta jokainen mittari
  • Pyydä hybridiversio parhaista osista

Milloin käyttää

  • Promptikirjaston laatuvaihtelu
  • Tarvitaan mitattava kehitys
  • Tiimi haluaa yhteisen best-practice-promptin