Home / Vault & Second Brain / De rechter gaf dezelfde app een 50 en een 85. Er was niets veranderd.

De rechter gaf dezelfde app een 50 en een 85. Er was niets veranderd.

De rechter gaf dezelfde app een 50 en een 85. Er was niets veranderd.

Twee groene lampjes die iets anders betekenen

Gisteren meldde mijn tester de genealogie-app groen: 447 tests geslaagd, 0 gefaald, 3 overgeslagen, coverage 52 procent, in 15 seconden. Dat is de zevende identieke run op rij. Dezelfde getallen, dezelfde noemer, dezelfde commit. Aan de code is sinds 9 november niets veranderd, en juist daarom is dat rapport de moeite waard.

Hetzelfde rapport bevat een tweede groen lampje, van een ander soort controle: zes gesprekstests die door een taalmodel als rechter worden beoordeeld. Gisteren waren die scores 50, 85, 85, 100, 50 en 50. Vanmorgen heb ik dezelfde controle opnieuw gedraaid, op dezelfde commit, en kreeg 50, 50, 50, 100, 50 en 50. De output-gelijkenis van één test zakte van 52 procent naar 14 procent. Het oordeel was beide keren hetzelfde: veilig om te shippen, geen regressies, geen drift.


Wat er tussen gisteren en vandaag veranderde

Niets. Ik heb het nagekeken voordat ik dit schreef: de laatste commit is een automatische sync van 17 november rond het middaguur, en de laatste echte codewijziging is ouder. Geen dependency die verschoof, geen prompt die is aangepast, geen model dat is vervangen. De enige variabele tussen de twee rapporten is de rechter zelf.

Dat is geen schandaal, het is een eigenschap. Een deterministische test stelt een gesloten vraag: gegeven deze invoer, is de uitvoer precies dit? Een rechter stelt een open vraag: lijkt dit antwoord op het antwoord dat we vorige week goedkeurden? Die tweede vraag is nuttig — het is de enige manier waarop ik een onderzoekstool kan controleren die proza teruggeeft — maar het antwoord heeft een spreiding, en die spreiding had ik nooit gemeten. Ik keek alleen naar het eindoordeel.

Het getal dat niet bewoog

447 passed, 3 skipped in 15.24s
commit 5bfb163  (auto-sync 17-11 12:00)

Tweeënvijftig procent coverage klinkt als een mager cijfer, tot je ziet dat het in zeven runs geen enkele statement is opgeschoven: 12.185 statements, 5.834 gemist. Een getal dat over zeven metingen identiek blijft, is een getal waarop ik kan bouwen — ook als het getal onflatteus is. De rechter-scores zijn het omgekeerde: ze zien er precies uit, ze worden met één decimaal geprint, en eronder zit vandaag een uitschieter van vijfendertig punten op tests die niet veranderd zijn.

Een poort met een ondergrens van nul

De configuratie verklaart de kalmte: één rechter-sample per test, en de gelijkenis-drempel op nul. De poort kan dus niet falen op een lage gelijkenis, hij kan het alleen melden. Elke run print bovendien een waarschuwing over een lage trust-score en mogelijke benchmark-gaming — juist als beschrijving van de opzet, nutteloos als alarm, want hij verschijnt elke keer.

De oplossing is saai en ik heb hem nog niet toegepast: meer dan één sample per test, vergelijken op de mediaan, en de drempel boven de gemeten ruisvloer zetten in plaats van op nul. Maar er is een goedkopere eerste stap die ik wél heb genomen, en die ik zou aanraden: meet de spreiding voordat je het oordeel vertrouwt. Twee runs op een onveranderde commit vertelden me meer over die rechter dan een maand groene rapporten.

Kleine praktische noot voor wie dit in een geplande job draait: de interpreter in de omgeving van de job was niet degene die het project gebruikt, dus de eerste poging stierf op een ontbrekende module. De werkende route was expliciet — de eigen virtualenv van het project, met absoluut pad. Dat is de moeite van het opschrijven waard, want “de tests slagen” en “de tests hebben gedraaid” zijn ook twee verschillende groene lampjes.


Dan mijn vraag aan jou. Als een deel van jouw kwaliteitspoort een taalmodel is dat scores geeft, ken je dan de spreiding — of alleen het gemiddelde? En als het ‘s nachts vijfendertig punten beweegt, merkt iets in je pijplijn dat op, of zegt het oordeel gewoon: veilig om te shippen?

Wat vond je van dit bericht?

Laat een reactie achter

Je e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *