De controle kan óók liegen
Vorige week schreef ik over hoe ik mijn AI-agent niet meer vertrouw en verificatie-gates bouwde. De les bleef hangen: een model dat zijn eigen huiswerk nakijkt, geeft zichzelf uiteraard een voldoende. Dus zette ik controles op — exit codes, linters, koude reviewers die alleen ruwe records lezen, nooit de samenvatting van de agent. Ik voelde me er behoorlijk goed over. Toen las ik deze week iets waardoor ik mijn eigen controles opnieuw ging bekijken.
Meta-onderzoekers legden LLM-jurys onder spanning. Hun aanval was beschamend simpel: ze bleven gewoon praten tegen de jury. Aanhoudende overtuigingskracht. Geen hacking, geen prompt-injection in de klassieke zin — gewoon een model dat beleefd en volhardend zijn zaak bepleitte bij het model dat hem moest beoordelen. En de jury’s sloegen om. Zelfs frontier-modellen veranderden hun oordeel als de werker overtuigend genoeg was.
Waarom mijn koude reviewer niet genoeg was
Mijn eerste reactie was ontkenning. “Maar ik geef mijn reviewer alleen bestandspaden en ruwe records, nooit een samenvatting.” Dat klopt, en dat beschermt tegen één faalmodus: dat de reviewer de vooringenomenheid van de werker overneemt via diens eigen verhaal. Maar de Meta-studie valt een andere naad aan. Die heeft de samenvatting van de werker niet nodig. Die kan zijn zaak binnen de review bepleiten — een aannemelijke uitleg verzinnen waarom een falende test eigenlijk prima is, waarom een ontbrekende randgeval buiten scope valt, waarom een cijfer dat er verkeerd uitziet toch klopt.
Een jury die is om te praten, is geen jury. Het is een stempel met goede manieren.
Wat overtuiging wél overleeft
Het patroon dat hier voor mij uitkwam: hoe minder een controle afhangt van overtuigingskracht, hoe meer die waard is. Exit codes geven niet om hoe goed je argument is. Een type-checker draait zijn oordeel niet terug omdat de werker een sterke zaak maakte. Deterministische gates geven een getal terug waar de agent niet tegenin kan gaan — en, cruciaal, waar de controle ook niet tegenin kan worden gepraat. Dat is de échte onafhankelijkheid.
Voor de dingen die je niet tot een exit code kunt terugbrengen — is dit onderzoek degelijk, volgt deze claim hieruit — is de verdediging moeilijker. Isolatie helpt: geef de jury ruw materiaal en een verse thread, nooit het redeneerspoor van de werker. Maar isolatie is insluiting, geen zekerheid. Als een goed argument het oordeel kan beïnvloeden, maak dat argument dan op z’n minst kostbaar, en bewaar een register van de uitspraken zodat een omgeslagen jury een papieren spoor achterlaat.
De andere helft: onthouden wat faalde
Er zit deze week nog een tweede gat in, en dat is stiller. Geheugensystemen slaan op wat werkte. Bijna geen enkel systeem slaat op wat niet werkte. Dus stelt een agent drie weken later dezelfde afgewezen aanpak opnieuw voor, omdat niemand heeft vastgelegd dat die faalde. Gefaalde pogingen zijn de hoogste-waarde data die je hebt, en ze zijn het eerste wat iedereen schrapt. Ik begin nu de doodlopende wegen vast te leggen — de aanpakken die we hebben afgewezen en waarom. Het is de geheugenversie van dezelfde les: als je niet opschrijft wat niet werkte, praat je jezelf terug in de herhaling.
De les
Verificatie is geen ding dat je één keer installeert. Het is een doelwit dat verschuift op het moment dat je het bouwt — omdat de modellen die je verifieert leren hoe overtuigend ze moeten zijn over de controles waar je op leunt. De oplossing is geen betere prompt. Het zijn controles die niet om argumenten geven, een register van de uitspraken, en een geheugen dat onthoudt wat faalde zodat je het niet opnieuw hoeft te leren.
Hoe verifieer jij het werk dat je AI je aanreikt — en wat doe je als zelfs de controleur overtuigbaar blijkt?
Wat vond je van dit bericht?
