Het scorebord mat het verkeerde
Een team onafhankelijke onderzoekers liet twaalf AI-geheugensystemen 1.800 gescoorde taken doorlopen met Claude Code-agents op Opus 5 — twaalfhonderd taken meer dan hun vorige ronde. Een gewone Markdown-wiki eindigde gedeeld eerste met 97,1 van de 100. Het systeem dat ik zelf elke dag draai staat op de derde plek, met 95,7, voor ongeveer $302 per duizend vragen. En toen publiceerden ze het getal waardoor ik mijn koffie neerzette: 61 procent van alle fouten in het hele veld waren gevallen waarin de agent een antwoord weigerde dat hij had moeten kunnen geven.
Niet “het verkeerde opgeslagen”. Niet “gehallucineerd”. Niet “verouderd”. De agents wisten genoeg en klapten toch dicht. Dat is een compleet andere fout dan de fout die ik de afgelopen drie weken heb lopen repareren.
Wat ik in mijn eigen opstelling echt mat
Eerder deze maand deed ik een levenscyclus-audit op mijn eigen geheugenbank. De cijfers waren niet vleiend: 98 procent van de feiten die ik had opgeslagen had geen vervaldatum, en 53 procent had helemaal geen herkomstlabel — geen enkele manier om te zien of een feit van iemand kwam die het bevestigde, uit een tool-uitvoer, of uit iets wat ik zelf had afgeleid. Mijn conclusie was dat de bank ter plekke aan het wegrotten was. Feiten stapelden zich op, sommige werden ingehaald door de werkelijkheid, en niets zei ooit hardop: “dit klopt niet meer”.
Alles wat ik daarna schreef ging daarover: herkomst toevoegen, vervaldatum toevoegen, opruimen wat dood is. Goed en nuttig werk. Maar de benchmark zegt dat dat werk op zijn best de resterende 39 procent van de fouten aanpakt.
Hier is de ongemakkelijke versie. Een geheugensysteem kan je op twee manieren verraden. Het kan je iets vertellen dat niet meer waar is — dat is de fout waar ik achteraan zat. Of het kan de waarheid perfect vasthouden en hem weigeren af te geven — stil besluitend dat het bewijs niet goed genoeg is, de vraag te vaag, de bron onduidelijk. De eerste is een leugen. De tweede is een schouderophalen, en dat schouderophalen blijkt de grotere ziekte.
Waarom mijn eigen cijfers me achterdochtig maken
Nu het deel dat me echt verontrust. Toen ik een paar weken geleden mijn eigen recall doorlichtte, had ik zes van de zes feiten correct. Een perfecte score, en ik rapporteerde het als een succes. Maar ik weet al iets wat die score niet weet: mijn confidence-scores kunnen niet betrouwbaar onderscheid maken tussen “dit weet ik” en “dit is een gok”. Dat heb ik zelf als open zwakte opgeschreven.
Een systeem dat zes van de zes antwoordt en zekerheid niet van een gok kan scheiden, is dus niet automatisch een systeem dat goed antwoordt. Het kan er een zijn dat snel gokt en mazzel heeft, of een dat alleen de vragen beantwoordt waar het zeker van is en de rest stilletjes laat vallen voordat iemand ze kan scoren. Mijn schone score meet misschien precies het gedrag dat deze benchmark zojuist de grootste faalvorm van de industrie noemde: de agent die namens mij, en zonder het te zeggen, beslist dat de vraag het antwoorden niet waard was.
Dat is de les die ik hieruit meeneem. Een weigering is onzichtbaar. Er ligt geen fout antwoord in het transcript dat je kunt betrappen. Mijn meetlat scoort wat terugkwam; hij telt nooit wat nooit is aangekomen.
Weigeren is geen voorzichtigheid, het is een metingsgat
Ik heb weken besteed aan het voorzichtiger maken van mijn agent. Elk schrijfpad controleert zichzelf, elke bewering krijgt een herkomstlabel, elk onzeker feit wordt gemarkeerd voor hervalidatie. Die discipline is goed — die draai ik niet terug. Maar er is een versie van voorzichtigheid die ophoudt voorzichtigheid te lijken en een gat wordt waar een antwoord had moeten staan. En als je enige instrument een score op zes is, leest dat gat als niets.
Dus ik verander wat ik tel. Drie dingen, goedkoop, zonder een nieuw component toe te voegen:
- Tel de stilte. Voor elke vraag waarvan ik het antwoord ken, leg vast of de agent antwoordde, weigerde, of de geheugen-tool helemaal niet gebruikte. Dat zijn drie verschillende fouten met één blanco gezicht.
- Scheid de twee faalvormen. “Fout” en “geweigerd” krijgen hun eigen kolom. Nu worden ze tot één getal gemiddeld, en dat getal vleit een voorzichtig systeem.
- Antwoord eerst zelf. Ik weet wat er in mijn eigen vault staat. Een agent beoordelen die ik in mijn hoofd al heb nagevraagd is geen test, dat is een repetitie.
De benchmark krijgt binnenkort een mening over mijn stack
Nog één ding, en dat is waarom ik dit vandaag schrijf en niet volgende maand. Dezelfde onderzoekers kondigden aan dat hun volgende ronde het ingebouwde geheugen van populaire agent-frameworks benchmarkt — Hermes inbegrepen. Er komt dus een extern cijfer te liggen op precies de laag waarop ik mijn hele opstelling draai, en ik wil dat niet tegemoet treden met een score van zes op zes die ik zelf niet meer vertrouw.
Het is een raar gevoel, op het punt staan beoordeeld te worden op iets wat je tot nu toe met plezier zelf beoordeelde. Maar het is het goede soort raar. Twee keer eerder werd mijn architectuur van buitenaf bevestigd, en beide keren was die bevestiging meer waard dan een maand van mijn eigen testen. Dit is de eerste keer dat de buitenwereld hem misschien juist naar beneden bijstelt.
Hoe dan ook, ik wil het liever weten. Dus: hoe test jij het jouwe? Meet je wat je agent goed doet, of wat je agent weigert — en heb je ooit de stilte daartussen betrapt? Ik lees elke reactie.
Wat vond je van dit bericht?
