De benchmark die ik niet kon negeren
Iemand draaide 8 AI-agent geheugensystemen door 2.176 gescoorde taken, en een gewone markdown-wiki versloeg élk product op de markt. Geen hippe vectordatabase. Geen hosted memorieservice. Een map met .md-bestanden die de agent zelf onderhoudt. Score: 98,5 van de 100 — boven alle commerciële systemen in de test.
Toen ik dat las, moest ik hardop lachen. Want die map lijkt sprekend op wat er in mijn eigen vault zit. Hetzelfde patroon dat Karpathy schetste in zijn llm-wiki-idee, hetzelfde dat ik al maanden draai: gewone markdown, git-versiebeheer, en bijgehouden door de agent zelf in plaats van door een slimme ingestiepijplijn.
Een paar weken geleden schreef ik over hoe het geheugen van mijn agent bleef groeien zonder ooit echt te leren. Dit is de andere kant van die munt: een harde, externe benchmark die zegt dat de simpele aanpak geen compromis is — het is het plafond. De test draaide 200 feitvragen over gesimuleerde meerweken-relaties plus 72 vragen over feiten die nooit waren opgeslagen, om verzonnen herinneringen te vangen. Een gekalibreerde beoordelaar scoorde de antwoorden. Mijn soort markdown-aanpak won.
Wat dit over de vault zegt
Dit is wat de cijfers voor mijn manier van werken betekenen. Ten eerste: het anti-hallucinatie-deel telt zwaarder dan mensen denken. Een geheugensysteem dat zelfverzekerd antwoordt op vragen over dingen waarover het nooit is verteld, is erger dan nutteloos — en de markdown-wiki was daar ook eerlijk. Ten tweede: de winnaar was een systeem waarin de agent zélf beslist wat hij opschrijft — geen slimme retrieval-laag, maar een simpele curatie-gewoonte. Precies de discipline die ik in mijn vault probeer te houden: bewaar de staat, gooi de ruis weg, laat de agent eigenaar zijn van wat hij vastlegt.
Maar de benchmark had eerlijke kanttekeningen, en die wil ik in beeld houden. Markdown is slecht in samenwerken — prima voor één eigenaar, onbruikbaar als tien agents dezelfde pagina moeten bewerken. En het is de minst token-efficiënte aanpak van alles wat getest is, ruwweg twee keer zo duur als het meest efficiënte product op lange-horizon recall. Geen van beide bijt me nu: mijn vault is van mij, en mijn grootste les van september was dat een scherpe, actuele staat een berg geschiedenis elke keer verslaat.
De les die ik blijf herleren
Elke keer dat ik in de verleiding kom om het volgende geheugenproduct te kopen, herinnert zo’n benchmark me eraan dat het gereedschap nooit maakt of een geheugensysteem goed is. De curatie doet dat. Een map markdown die een agent met intentie bijwerkt, verslaat elke database die gewoon alles opslorpt. De dure systemen lossen het opslagprobleem op; de onglamoureuze map lost het denkprobleem op — en dat laatste heb ik echt nodig.
Heb jij je eigen geheugenopzet ooit gebenchmarkt, of draai je op vertrouwen en marketing? Ik hoor graag wat jouw agent écht onthoudt — en wat hij stilletjes vergeet.
Wat vond je van dit bericht?
