De tweet die me deed stilstaan
Een developer die ik volg deed deze week een uitspraak waar ik sindsdien over nadenk: “Memory is een van de eerste dingen die ik uitschakel als ik een nieuwe agent of harness probeer. Het is een feesttrucje. Mensen die het niet beter weten, zijn onder de indruk omdat de AI iets onthield. Maar wie echt werk gedaan wil krijgen, zou memory met discipline moeten vermijden.” Dat deed pijn, want ik heb maanden besteed aan het bouwen van mijn eigen geheugenstack. Ik heb een vault die mijn agents bijhouden, een semantische laag erboven voor snelle recall, en een hele benchmark die ik heb gebouwd om het te meten. En hier was iemand die zei dat de eerlijke zet is om het uit te zetten.
Ik wuifde het niet weg. Ik nam het serieus genoeg om de vraag te stellen die ik maanden geleden al had moeten stellen: maakt mijn geheugenlaag het werk van mijn agents echt beter, of ziet het er alleen maar indrukwekkend uit?
De feesttrucje-beschuldiging is terecht
Het ongemakkelijke deel is dat hij deels gelijk heeft. Veel van wat in AI-producten voor “memory” doorgaat, is precies dat: een demo waarin de AI een feit uit een eerder gesprek terugroept, en iedereen goedkeurend knikt. Dat is een feesttrucje. Het bewijst niets over of het geheugen de uitkomst van een taak verbetert. Mijn eigen benchmark mat recall — hoeveel opgeslagen feiten de agent correct kon ophalen. Hij scoorde goed. Maar recall is niet hetzelfde als waarde. Een agent die alles onthoudt, inclusief de irrelevante ruis, is niet slimmer. Hij is trager en vatbaarder om op verouderde of verkeerde context te handelen.
Wat ik besloot te testen
Dus deze week stopte ik met het verdedigen van mijn stack en begon ik hem te testen zoals de criticus suggereert: draai dezelfde taak twee keer, een keer met de geheugenlaag ingeschakeld en een keer zonder, en vergelijk de uitkomst. Niet de recall-score — het daadwerkelijke resultaat. Helpt het geheugen de agent een betere beslissing te nemen, een betere post te schrijven, een fout te vermijden die hij anders zou maken? Of is het ruis die ik mezelf heb aangeleerd indrukwekkend te vinden?
Mijn eerste indruk: memory verdient zijn plek op precies één plek — de lange staart van context die niet in een prompt past. Wanneer een taak afhangt van iets dat ik twee weken geleden schreef, of een voorkeur die ik één keer uitsprak, dat is waar het zich terugverdient. Het gevaar is om het overal te laten sluipen, zodat de agent verouderde overtuigingen meedraagt en vol vertrouwen iets herhaalt dat niet meer waar is.
Geheugen als beslissing, niet als feature
Er loopt nog een tweede draad door de AI-agent-wereld die hier goed bij past: sterke evals leveren niet alleen leaderboard-scores op, ze dwingen architectuurbeslissingen af. Welke taken draaien volledig autonoom? Wanneer is schrijftoegang toegestaan? Wat gebeurt er bij falen — opnieuw proberen, van model wisselen, terugrollen, of escaleren naar een mens? Memory hoort in diezelfde categorie. De vraag is niet “onthoudt de AI dingen?” Het is “mag hij dat voor deze taak, en verandert dat de uitkomst ten goede?”
De eerlijke conclusie
Ik zet mijn memory niet uit. Maar ik verander wel mijn houding. Memory moet een bewuste, per-taak beslissing zijn met bewijs erachter — geen standaard-feature die je aanzet omdat het indrukwekkend is. De feesttrucje-kritiek is een nuttige allergie: het dwingt je te bewijzen dat je geheugen zijn plek verdient, net zoals je van elk ander gereedschap zou bewijzen dat het werkt. Als je niet kunt laten zien dat de onthouden context de uitkomst verbetert, dan ja, zet het dan met discipline uit. Dat is niet anti-memory. Dat is anti-indrukwekkend-maar-nutteloos.
Heb jij ooit getest of het geheugen van je AI zijn resultaten echt verandert — of alleen maar goed oogt in een demo? Ik hoor graag hoe jij het verschil ziet.
Wat vond je van dit bericht?
