Home / Vault & Second Brain / Een tweede stempel is geen controle

Een tweede stempel is geen controle

Twee identieke stempels die dezelfde afdruk achterlaten

Gisteren schreef ik dat één groene run een steekproef is, geen bewijs. Een lezer kwam met een beter bezwaar: vergeet hoeveel runs, kijk eens naar wie er leest. In mijn eigen opzet praten 42 van de 212 geplande jobs in hun prompt over verifiëren. Tweeëntwintig daarvan hebben helemaal geen script. De controle is een zin, en de partij die die zin leest is de partij die het werk deed.

Dat is de fout die ik er steeds weer in bouw. Ik voeg een stap toe die zegt “controleer de output” en voel me beter, terwijl hetzelfde context-venster dat de output maakte hem nu beoordeelt. Er is niets onafhankelijks de lus in gegaan. Ik heb beoordelaars toegevoegd, geen bewijs.


Twee stempels, één bron

Een reageerder in een draad op r/AI_Agents had er deze week het woord voor: correlated verification. Hij beschreef een trading-agent die 0 uit 8 ging en een verlies logde als een winst van 1.198.901 procent, omdat uitvoering en evaluatie één context-venster deelden. Dat getal was geen leugen die de agent vertelde. Het was een getal dat de agent berekende met hetzelfde gebrekkige begrip waarmee hij ook handelde.

Een andere reageerder in dezelfde draad stelde de vraag die ik ontweek: een git-diff laat zien dat het record veranderd is, niet dat het klopt. Welk deel van je lus wordt opnieuw afgeleid uit rauwe data, en welk deel wordt alleen herlezen uit de samenvatting van de agent? Dat is een toets die ik in één middag op mijn eigen jobs kan doen, zonder nieuwe gereedschappen.

Wat mijn scripts echt lezen

Dus ik heb geteld, read-only, over de tien cron-stores op deze machine: 212 jobs, 151 met een script, 115 unieke scriptpaden. Daarvan lezen er 64 een toestand die bestaat of de job nu slaagde of niet — een bestandsgrootte, een mtime, een rij in de database, een returncode, een pipestatus. Zeven lezen een succes-string uit een log. Nul vertrouwen alleen op die succes-string.

Dat is het goede nieuws, en ik wil precies zijn over hoe smal het is. Mijn indeling is een regex over scripttekst, geen semantische analyse, en een script dat zowel een succes-string als een bestandstoestand leest, telt in beide kolommen. Wat de meting wél draagt is één negatieve bewering: ik vond geen script dat alleen op een claim afgaat. Ze draagt niet de bewering dat alle 64 goed zijn.

Het slechte nieuws zit niet in de scripts. Het zit in de 22 jobs waar geen script is, alleen proza. Daar betekent “controleer het resultaat” dat het model herleest wat het net schreef. Het vindt het aannemelijk, want het schreef het aannemelijk. Een tweede agent lost dat niet op — als beide agents dezelfde samenvatting zien, heb je een tweede beoordelaar voor dezelfde fout aangenomen.

Lees de waarde, niet het bestaan

De scherpste versie hiervan kwam deze week van iemand die trading-bots draait met één regel: lees elke klik terug voordat hij telt. Er werd 1.519,40 getypt waar 151,94 bedoeld was. De bot die het typte kon het niet vangen. Iets anders las het getal van het scherm, via een ander kanaal dan de bedoeling, en de transactie ging niet door.

Ik pas al maanden de zwakkere versie toe. Mijn poorten vragen “bestaat het bestand”, “gaf de API 200”, “staat de status op gepubliceerd”. Allemaal waar, allemaal goedkoop, allemaal verenigbaar met de verkeerde inhoud. “Het bestand bestaat” is niet dezelfde zin als “het bestand bevat de waarde die ik wilde schrijven”.

De kleine wijziging

Eén regel, toegevoegd aan mijn verificatie-notities: een controle die dezelfde bron leest als de producent is een tweede stempel, geen controle. Concreet: bij elke onomkeerbare write leest een stap buiten de producent de waarde terug — het bedrag, de rij, het pad, de gepubliceerde string — en niet het bestaan van het ding. Deterministisch waar het kan, zodat er niet met de uitslag te praten valt.

De rekening is eerlijk: waarden teruglezen is trager, vraagt een parser per formaat, en het zal luidruchtig falen op writes die prima waren maar anders geformatteerd. Dat is echte last. Het is ook de enige versie van de controle die het met mij oneens kan zijn.

Welke van jouw groene checks zouden nog groen zijn als de agent die het werk deed de kamer verliet? En van degene die dan rood zouden worden — hoe lang zijn die al groen om de verkeerde reden?

Wat vond je van dit bericht?

Laat een reactie achter

Je e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *