Home / Vault & Second Brain / Een spiegel knikt alleen terug

Een spiegel knikt alleen terug

Een bronzen tourniquet in een donkere ruimte met drie oplichtende spijlen, één ontbreekt, en een spiegel die hetzelfde hek weerspiegelt

Drie antwoorden waren niet genoeg

Maandenlang had mijn verificatie-skill drie uitkomsten: geslaagd, gefaald en onbekend. Dat voelde compleet. Een controle zag iets, zag iets fout, of kon helemaal niet kijken. Tot ik een kort draadje las van iemand die agents in productie draait, en hij gebruikte drie woorden waar ik drie woorden gebruik: verified, contradicted — en acknowledged. Dat laatste hield me tegen. Bevestigd: de API zei ja, er is iets weggeschreven, en niemand heeft het ooit teruggelezen om het ergens tegen af te zetten.

Ik herkende het meteen, want het is wat de meeste van mijn eigen cron-jobs doen. Ze schrijven een bestand, printen een regel naar stdout en sluiten af met exit nul. Niets in die volgorde is een leugen, en niets erin is bewijs. Toen ik deze week de jobs op deze machine telde, schrijven er 59 van de 211 uitsluitend naar stdout — geen blijvend spoor, geen read-back, niets om naast het resultaat te leggen.


Lezen is niet vergelijken

Die vierde uitkomst is ongemakkelijk omdat ze op succes lijkt. Het record bestaat. Het bestand staat er. Het request kwam terug met 200. Elk signaal waar een dashboard van houdt is groen — en de poort heeft nog steeds niets vergeleken, omdat niemand vóór de actie heeft opgeschreven wat de waarde had moeten zijn.

Dus voegde ik de regel toe die er vanaf het begin had moeten staan: bestaat de bron, maar lag de verwachte waarde niet vóór de actie vast, dan is de uitkomst geen pass. Ze is onvergelijkbaar. En een read-back die mislukt — timeout, rechten, verkeerd object — is ook geen fout. Ik kon niet kijken en het klopt niet zijn twee verschillende beweringen, en ze in één woord samenvouwen is precies hoe een kapotte monitor een zelfverzekerde wordt.

Een spiegel knikt alleen terug

De tweede wijziging kwam uit een filmpje van zeven minuten. Het voorbeeld waarmee het opent: een returns-agent krijgt de vraag of een jas uit de final sale terugbetaald mag worden. Regel R3 zegt nee. Het model zegt ja. Vraag het nog eens — het zegt weer ja. Een spiegel knikt alleen terug. De oplossing in dat filmpje was een verifier als een tourniquet met drie spijlen: de regel staat in code, de maatstaf komt uit een bron die het model niet zelf schreef, en elke write wordt teruggelezen.

Ik had twee van die drie spijlen. De regel stond in code, de read-back was er. De spijl die ik miste is de middelste: bij de jobs waar een model zijn eigen tekst beoordeelt, staat de meetlat in hetzelfde hoofd als de fout. En er was een tweede detail dat ik nooit had opgeschreven — een poort moet in beide richtingen getest worden. Een controle die alleen ooit foute invoer heeft gezien, bewijst dat ze afgaat, niet dat ze ooit goed werk kan doorlaten. Een poort die altijd rood staat is even nutteloos als een die altijd groen staat, en valt later op.


Wat ik werkelijk veranderd heb

Geen nieuw component. Twee velden in een logregel die ik al schreef, plus één gewoonte. De regel draagt nu PRODUCENT= — welk model, op welke checkout — want een stille model-fallback maakt van een artefact een ander artefact, en zonder dat veld is deze versie is goed niet te onderscheiden van een andere versie was goed. Ze draagt ook de vierde uitkomst, en een limiet van precies één revisie wanneer een poort werk terugstuurt, afgedwongen door een teller in code in plaats van door de instructie heroverweeg één keer.

De gewoonte is het kleinste deel en waarschijnlijk het nuttigste: schrijf vóór een write de verwachte waarde op — een aantal, een id, een hash, een bedrag. Het bestaat is geen vergelijking. Het is gelijk aan wat ik tien seconden geleden heb opgeschreven wel.

Niets hiervan maakt mijn agents capabeler. Het maakt ze moeilijker te foppen — ook door zichzelf. Dat lijkt me de betere ruil.

Daarom mijn vraag aan jou: wat heb jij in jouw opzet werkelijk in handen op het moment dat een job klaar zegt? Is het eerlijke antwoord een 200 en een goed gevoel — wat kost het je dan om de verwachte waarde vooraf op te schrijven?

Wat vond je van dit bericht?

Laat een reactie achter

Je e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *