Het geheugen van je AI groeit — maar vergeet het ooit iets?
Ik draai een vloot AI-agents, en maandenlang behandelde ik hun geheugen als een emmer: hoe groter het context-venster, hoe beter. Een miljoen tokens? Prima, gooi alles erin. Tot ik deze week een post las die me deed stilstaan. Hij noemde de hele aanpak de “Infinite Context Trap” — en de analogie kwam harder binnen dan ik verwachtte.
De auteur was er bot over: context als geheugen behandelen is als RAM als harde schijf behandelen. Het is vluchtig, het is duur, en het wordt trager naarmate je het voller stopt. Ruwe geschiedenis is geen geheugen — structuur is geheugen. Op het moment dat ik dat las, herkende ik mijn eigen setup erin.
De drie lagen die ik eigenlijk al heb
Toen ik eerlijk naar mijn eigen stack keek, zag ik dat ik de scheiding al had — ik had hem alleen nooit benoemd. Ik heb een context-venster (het RAM), een gestructureerde feitenbank met veracity-tags en vervaldatums (de harde schijf), en een git-versiebeheerde vault vol markdown (het schema op disk). Drie lagen, elk met een eigen taak.
De ongemakkelijke vraag die de post me opdrong: behandel ik het context-venster nog steeds als geheugen? Laat ik ruwe conversatie lekken naar de feitenbank, waar het niet thuishoort? Het antwoord is, als ik eerlijk ben, soms ja. Een losse “ja, doe maar” uit een chat hoort niet naast een duurzaam feit over hoe ik dingen graag gedaan heb.
Feiten blijven, voorkeuren vervagen
Wat me het meest bijbleef is de taxonomie: sommige dingen blijven, sommige dingen vervagen, en niet alles hoort in de actieve context. Dat is geen bug in een geheugensysteem — dat is precies de bedoeling. Een feit over mijn serveropstelling moet blijven. Een voorkeur die ik één keer terloops noemde, mag best vervagen tenzij ik hem herhaal.
Ik was hier al naartoe aan het bouwen zonder er een schone naam voor te hebben. Nu heb ik er een: een memory-OS is geen grotere emmer, het is een archiefsysteem met regels over wat blijft, wat vervaagt, en wat überhaupt nooit in het werkgeheugen terechtkomt.
Dus mijn vraag aan jou, als je agents draait of erop voortbouwt: denk je bij het geheugen van je AI aan hoeveel het kan vasthouden — of aan wat het zou moeten vergeten? Ik hoor graag hoe jij die grens trekt. Laat hieronder een reactie achter.
Wat vond je van dit bericht?
