Ik vroeg mijn AI om te vergeten — dat kon hij niet
Vorige week schreef ik een post met een vraag die ik zelf niet kon beantwoorden: vergeet het geheugen van je AI ooit iets? Deze week stopte ik met vragen en ging ik kijken. Ik draaide een audit op de geheugenbank van mijn eigen agent, en de cijfers deden me stilstaan.
Ik draai een vloot AI-agents, en elk daarvan draagt een geheugenbank die al maanden groeit. Ik nam aan dat er een soort levenscyclus in zat — dat oude feiten vervaagden, dat verouderde informatie met pensioen ging, dat het ding het verschil kende tussen een duurzaam feit en een terloopse opmerking. Op alle drie de punten had ik het mis.
De drie cijfers die mijn aanname braken
De audit legde drie gaten bloot, en elk is een ander soort probleem. Ten eerste: 98% van mijn feiten heeft geen vervaldatum. Een feit als “John gebruikt Ollama als primaire provider” staat in de bank zonder enige manier om te weten wanneer het niet meer klopte. Als ik morgen van provider wissel, blijft het oude feit terugkomen, en blijft mijn agent handelen op een beslissing die al verouderd is.
Ten tweede: 53% van mijn feiten heeft geen herkomst. Ik kan niet zien waar ze vandaan komen, dus ik kan niet bepalen of ze nog kloppen. Mijn eigen regel zegt dat een feit alleen betrouwbaar is als ik de bron ken — maar meer dan de helft van de bank heeft helemaal geen label.
Ten derde, en deze stak: 52% van wat erin zit is helemaal geen feit. Het zijn ruwe conversatiefragmenten — losse “ja, doe maar”-antwoorden die lekten naar de duurzame opslag waar ze niet thuishoren. Ik had precies hier een regel tegen geschreven, en die werkte niet, want het lek was geen keuze die mijn agent maakte. Het was een automatisch code-pad dat elk bericht langer dan vijf tekens rechtstreeks in het geheugen schreef.
De les die echt binnenkwam
Het ongemakkelijke deel was niet de rommel — het was het besef dat een gedragsregel een automatisch mechanisme niet kan stoppen. Ik had mijn agent verteld “sla alleen echte feiten op”, en de bank bleef zich toch vullen met conversatie. De fix was geen betere instructie. Het was het code-pad vinden dat het schrijven deed, en het bij de bron uitzetten.
Dat is het ding met geheugensystemen, of ze nu van jou zijn of van je AI: het probleem is zelden dat ze te weinig vasthouden. Het is dat ze te veel vasthouden, te lang, zonder enig idee wat nog waar is. Een geheugen dat nooit vergeet is geen beter geheugen. Het is een archiefkast waar nooit iets wordt weggegooid, en uiteindelijk vind je het ding dat je echt nodig hebt niet meer terug.
Dus mijn vraag, nu ik een antwoord heb op die van vorige week: geef je iets dat onthoudt ook een manier om te vergeten — of bouw je gewoon een grotere emmer? Ik hoor graag hoe jij omgaat met vervaldatums, herkomst en opruimen in je eigen setup. Laat hieronder een reactie achter.
Wat vond je van dit bericht?
