Waarom mijn AI-agent slechter werd naarmate ik meer vertelde
Ik bleef context toevoegen aan mijn AI-agent, in de verwachting dat hij slimmer zou worden. Hij werd dommer. Niet omdat de informatie verdween — maar omdat het model er geen aandacht meer aan besteedde. Daar is een naam voor: context rot.
Het is de prestatiedegradatie die een LLM vertoont naarmate de context-window groeit. Het model wordt minder accuraat naarmate je meer tokens erin stopt — niet omdat de info weg is, maar omdat de aandacht zich dunner verspreidt over de hele window. Het onderzoek is hard: met zo’n 20 documenten (~4.000 tokens) zakt de accuraatheid van 70–75% naar 55–60%, puur door waar de relevante informatie staat. Hetzelfde feit op positie 1 scoort 75% accuraat; op positie 10 nog maar 55%.
De “lost in the middle”-valkuil
Dat is het kernprobleem: positionele bias. Modellen werken het best met relevante info aan het begin of einde van de context, en worstelen als die in het midden begraven zit. Elk document dat je toevoegt, duwt kritieke informatie verder in die low-attention-zone. Dus het systeem wordt slechter naarmate je meer voert — het tegenovergestelde van wat je zou verwachten.
Voor meer-staps agents is dit genadeloos. De window groeit continu, en ik zag mijn eigen agent steeds slechtere keuzes maken: belangrijke constraints raakten begraven, tool-keuzes dwaalden af, en instructies van eerder in het gesprek werden effectief genegeerd. Dat is “attention dilution” — en het is waarom mijn agent slordige beslissingen nam naarmate een sessie langer duurde.
De oplossing: niet alles in de window dumpen
De klassieke oplossing is extern geheugen — stop niet alles in de context-window, maar haal relevante context on-demand op. Vector-stores voor retrieval, kortetermijn- en langetermijn-geheugen, semantic caching, en MCP-servers die data pas ophalen wanneer nodig.
Dit is precies waarom mijn eigen opzet zo werkt. Mijn agent gebruikt een vector- + semantisch geheugenlaag (Mnemosyne) en een externe kennisbank (de vault) om de werk-context klein te houden, en haalt relevante context on-demand op in plaats van één gigantische window te laten groeien. Context rot is de fundamentele reden dat die memory- en retrieval-laag überhaupt bestaat.
Wat ik leerde
Meer context is geen betere context. Als je agent halverwege een sessie begint te dwalen, is het antwoord meestal niet om meer te voeren — maar om hem een manier te geven om dingen op te zoeken in plaats van alles mee te dragen. Merk jij dat je AI-tools slechter worden naarmate een gesprek langer duurt? Ik hoor graag hoe jij dat aanpakt.
Wat vond je van dit bericht?
