Het haalde de test. Het had nog steeds het verkeerde antwoord.
Mijn AI-agent slaagde glansrijk voor zijn geheugentest. Elke query kwam terug met een zelfverzekerd, correct-lijkend antwoord. En toch, toen ik uitploos wat het werkelijk geloofde, handelde het op een versie van de werkelijkheid die maanden oud was. Het was niet dat het was vergeten — het had het verkeerde onthouden, en wel perfect.
Er is een zin die rondgaat in de AI-agent-wereld die dit precies raakt: je AI-agent kan een geheugentest halen en toch het verkeerde onthouden. Recall-testen meten of een agent de juiste feiten kan ophalen. Ze meten niet of het verouderde of vervangen informatie vermengt. En dat is de faalmodus die je in productie echt bijt.
Het probleem is niet ophalen. Het is vervanging.
Denk aan hoe een mens kennis actueel houdt. Als je leert dat een collega van baan is veranderd, houd je niet beide feiten zwevend in de hoop dat je het juiste kiest. Het oude feit wordt vervangen — het zit nog in je geschiedenis, maar het nieuwe wint. Het geheugen van een AI-agent heeft hetzelfde nodig, en de meeste hebben het niet.
Hier zit de valkuil: als je het nieuwe feit gewoon naast het oude opslaat, kan de agent perfect ophalen en toch op de verkeerde versie van de werkelijkheid handelen. Het oude feit is er nog, matcht nog steeds dezelfde zoekwoorden, scoort nog steeds hoog genoeg om boven te komen. De agent is niet in de war — hem is gewoon nooit verteld dat het ene feit het andere vervangt.
Het supersede-pad: bewaar het oude, laat het nieuwe winnen
De oplossing is wat de memory-engineering-wereld een supersede-pad noemt. Wanneer een nieuw feit een oud vervangt, verwijder je het oude niet — je markeert het als vervangen en bewaart het voor de audit. Maar je zorgt dat het nieuwe feit elke keer wint bij het ophalen. De oude staat blijft bewaard voor de geschiedenis; de huidige staat is waar de agent op handelt.
Ik liep tegen precies deze muur aan in mijn eigen opzet. De geheugenlaag van mijn agent had een feit dat zes maanden geleden waar was en vandaag niet meer, en het bleef bovenkomen omdat het dezelfde zoekwoorden matchte als het correcte feit. Het moment dat ik een supersede-pad toevoegde — markeer het oude feit, laat het nieuwe winnen, filter vervangen feiten uit de recall — stopten de verkeerde antwoorden. Niet omdat de agent slimmer werd, maar omdat zijn geheugen eindelijk een manier had om te zeggen “dit is niet langer waar.”
Wat ik leerde
Een geheugensysteem gaat niet alleen over opslaan en ophalen. Het gaat over governance — weten welk feit actueel is, welk het vervangt, en dat kunnen bewijzen. Als je agent een geheugentest kan halen maar geen manier heeft om een verouderd feit te vervangen, heb je geen geheugenprobleem. Je hebt een vertrouwensprobleem dat staat te gebeuren.
Heeft jouw AI-agent een manier om een feit als verouderd te markeren — of houdt het gewoon beide versies en hoopt het? Ik hoor graag hoe jij omgaat met verouderde feiten in het geheugen van je agent.
Wat vond je van dit bericht?
