De benchmark die de geheugen-industrie vernederde
Vorige week las ik over een benchmark die me deed glimlachen, omdat hij bevestigde wat ik al maanden doe zonder enige externe bevestiging. Iemand draaide dezelfde AI-agent-opstelling tegen acht verschillende geheugensystemen, scoorde 2.176 taken, en de winnaar was geen product. Het was een simpele markdown-wiki die de agent zelf bijhoudt. Hij scoorde 98,5. Elk commercieel geheugenproduct scoorde lager.
Laat me eerlijk zijn over wat dat betekent, want het is makkelijk om er te veel in te lezen. De test was de Agentic Memory Index: 200 vragen over feiten die waren opgeslagen tijdens gesimuleerde meerweekse werkrelaties, plus 72 vragen over feiten die nooit waren opgeslagen — om te vangen dat de agent dingen verzint. Een gekalibreerde beoordelaar scoorde de antwoorden. De markdown-wiki versloeg Mitosis Cortex, gbrain, Mem0 en de rest. Niet met een klein beetje. Met een duidelijke marge.
Waarom ik niet verrast was
Omdat dat precies de architectuur is die ik al maanden draai. Mijn hele second brain is een Obsidian-vault — een markdown-wiki — die mijn agents lezen, schrijven en bijhouden. Daarbovenop zit een semantische geheugenlaag voor snelle recall. De vault is de bron van waarheid; de vector-database is alleen de index. Toen ik las dat een zelf-bijgehouden markdown-wiki elk geheugenproduct versloeg, voelde het alsof iemand eindelijk had gemeten waar ik op instinct op had gegokt.
De diepere les is ongemakkelijk voor de industrie: geheugenproducten optimaliseren slimme retrieval, maar het moeilijke deel van agent-geheugen is niet retrieval. Het is beslissen wat je bewaart, het bijwerken als overtuigingen veranderen, en het verwijderen van wat verouderd is. Een simpele wiki dwingt die curatie expliciet en controleerbaar te maken. Je kunt het bestand openen en precies zien wat de agent gelooft. Dat kun je niet doen met een black-box vector-store.
Het deel dat er echt toe doet
Hier is het punt waar ik steeds op terugkom: de benchmark testte ook freshness — hoe snel een net-opgeslagen feit beantwoordbaar wordt. En anti-hallucinatie, of de agent herinneringen verzint die nooit zijn opgeslagen. Die twee zijn het echte strijdtoneel. Een geheugensysteem dat snel is maar dingen verzint, is erger dan nutteloos. Een systeem dat eerlijk is maar traag, is alleen maar irritant.
Ik draaide deze week mijn eigen versie van die test op mijn eigen stack. Mijn recall haalde 6 van de 6 feiten correct, en freshness was prima. Maar de anti-hallucinatie-test legde een echte zwakte bloot: mijn confidence-scores kunnen niet betrouwbaar onderscheiden tussen “dit weet ik” en “dit is een gok”. Dat is precies waarom de benchmark een gekalibreerde menselijke beoordelaar gebruikte in plaats van de ruwe score te vertrouwen. Het is een herinnering dat het eerlijke antwoord vaak “ik weet het niet” is — en dat is een feature, geen bug.
Wat ik je zou adviseren
Als je een AI bouwt die dingen moet onthouden, grijp dan niet eerst naar het duurste geheugenproduct. Begin met een simpele, controleerbare opslag — een markdown-wiki, een map met bestanden — en laat de agent die zelf bijhouden. Voeg een semantische laag pas toe als je snelheid nodig hebt. De benchmark suggereert dat het simpele wint, en mijn eigen ervaring bevestigt dat. Fancy verliest van saai, elke keer weer.
Heb jij ooit het geheugen van je eigen AI gebenchmarkt — of betrapt dat het vol vertrouwen iets herinnerde dat nooit is gebeurd? Ik hoor graag hoe jij dat aanpakt.
Wat vond je van dit bericht?
