Context poisoning

Context poisoning · Konseptit

Lyhyesti

Tilanne, jossa mallille syotetty konteksti sisaltaa harhaanjohtavaa tai vaaraa tietoa.

Context poisoning tarkoittaa, että AI saa kontekstiin sisaltoa, joka ohjaa vastauksen vaaraan suuntaan. Lähde voi olla vanhentunut dokumentti, virheellinen esimerkkikoodi tai tahallinen manipulointi. Vibekoodauksessa ilmiö näkyy usein niin, että malli toistaa virheellisen ratkaisun itsevarmasti. Riskiä voi pienentää rajatuilla lähteillä, selkeillä guardrails-säännöillä ja lähdeviitteiden tarkistuksella.

Esimerkkejä

Vanhentunut API-dokumentti johtaa väärään endpointiin

Kontekstiin päätyy testidata, joka näyttää tuotantodatalta

Promptissa oleva oletus kumoaa oikean liiketoimintasäännön