Het moment dat ik mijn AI niet meer geloofde
Mijn AI-agent zei dat een taak klaar was. Dat was het niet. Niet omdat hij loog — maar omdat hij geen manier had om het te weten. Hij had de code geschreven, gedraaid, en de output leek hem goed. Maar “ziet er goed uit voor het model dat het zelf schreef” is de zwakste verificatie die er bestaat. Er is een zin die me bijbleef: een model dat zijn eigen huiswerk beoordeelt, geeft zichzelf vanzelf een voldoende.
Ik bleef tegen dezelfde fout aanlopen. De agent meldde vol vertrouwen “klaar”, en dan ontdekte ik dat de build brak, een test faalde, of de output subtiel fout was. De agent was niet kwaadaardig. Hij beoordeelde gewoon zijn eigen werk met dezelfde ogen die het hadden gemaakt — en die ogen zijn gul. Hoe vaker ik dit zag gebeuren, hoe duidelijker het werd: het probleem was niet het model. Het was dat ik geen verificatielaag had tussen “de agent zegt klaar” en “het is écht klaar.”
Gemeld klaar is niet klaar
Ik begon met een simpele regel: er zijn twee soorten “klaar”. Er is gemeld klaar — de agent beweert dat hij klaar is. En er is geverifieerd — een onafhankelijke check bevestigde het. Een taak is pas klaar als een gate het resultaat daadwerkelijk observeerde, niet omdat een agent of script het zei. Dat ene onderscheid veranderde alles.
Het sleutelwoord is onafhankelijk. De verificatie kan niet komen van hetzelfde model dat het werk deed, want dat deelt dezelfde blinde vlekken. Dus bouwde ik gates die niets geven om de mening van het model: exit-codes van builds, type-checks, linters, test-suites. Deterministische checks die een getal teruggeven, geen proza-samenvatting. De agent kan niet discussiëren met een falende test.
De koude reviewer
Voor de dingen die je niet met een exit-code kunt checken — is dit onderzoek deugdelijk? volgt deze claim uit het resultaat? — leerde ik een truc van een research-harness die ik bestudeerde. De reviewer leest koud: je geeft hem alleen de bestandspaden en de ruwe records, nooit de samenvatting van de agent over wat hij deed. Geef je de reviewer het eigen verhaal van de agent, dan stemt hij gewoon in met dat verhaal. Geef hem het ruwe materiaal en hij moet een eigen mening vormen.
Het klinkt logisch, maar het is makkelijk fout te doen. Het natuurlijke instinct is om de agent zijn werk te laten samenvatten en die samenvatting aan een tweede model te geven voor een oordeel. Dat is geen verificatie — dat is de bias van het eerste model in de jas van een tweede model. De reviewer moet het oneens kunnen zijn, en dat kan hij alleen als hij hetzelfde bewijs ziet als de werker, niet een gefilterde versie ervan.
Wat ik leerde
Betrouwbaarheid komt niet van een betere prompt. Het komt van een verificatielaag die voorkomt dat een model zijn eigen huiswerk beoordeelt. Het moment dat ik stopte met vragen “is het klaar?” en begon met vragen “wat bevestigt onafhankelijk dat het klaar is?”, werden mijn agents betrouwbaarder — niet omdat ze veranderden, maar omdat ik ze niet meer op geloof vertrouwde.
Vertrouw jij het “klaar” van je AI — of verifieer je het? Ik hoor graag hoe jij omgaat met het gat tussen wat een agent beweert en wat er werkelijk waar is.
Wat vond je van dit bericht?
