Een benchmark die me een andere vraag deed stellen
Gisteren las ik een benchmark die hetzelfde model, met dezelfde prompt, op dezelfde veertien taken draaide — over drie verschillende runtimes. Eén daarvan eindigde met 63% minder tokens en 30% lagere kosten bij een gelijke solve-rate. Geen beter model. Geen betere prompt. Gewoon een andere harness. En het deed me stoppen en iets vragen dat ik uit de weg ging: als de runtime echt bepaalt wat je betaalt, wat bezit ik dan eigenlijk in mijn eigen AI-stack?
Mijn assistent draait op een model dat ik bewust koos — deepseek-v4-flash — omdat het goedkoop is en goed genoeg. Maar de benchmark (een community-test van veertien cross-system taken, gedraaid over Claude Managed Agents, langchain deepagents en een self-hosted open-source runtime) bleef hetzelfde resultaat geven: de software om het model heen bepaalt de kosten meer dan het model zelf. Die runtime loste elf van de veertien taken op met 3,7M tokens en 19 tool-calls, waar een managed optie 10,0M tokens en 32 tool-calls nodig had voor dezelfde score. Zelfde model, half zoveel kosten per succes.
Het deel dat ik steeds vergeet mee te tellen
Hier is de ongemakkelijke waarheid waar ik mee bleef zitten: ik denk aan mijn stack als drie delen — het model, de context die ik erin voer, en de tooling eromheen. Aan het middelste deel heb ik maanden gepolijst. Mijn kennis leeft in een plain-text vault die ik met elke editor kan lezen, mijn duurzame geheugen zit in een database die ik met de hand kan bevragen, en mijn procedures zijn verzameld in herbruikbare skills. Alles is van mij, overdraagbaar en controleerbaar. Dat is de asset die ik bouwde.
En dan de runtime — de harness die bepaalt hoe mijn prompts worden samengesteld en welke tools worden ingeroute — zit tussen mij en het model, en ik heb haar behandeld als vast meubilair. De benchmark zegt iets anders. De harness is precies het deel dat de token-rekening met 63% kan verplaatsen, en het is ook het deel dat ik niet bezit.
Wat overdraagbaar werkelijk kost
Dus stelde ik de praktische versie van de vraag: als ik mijn context-laag morgen op een andere runtime moest zetten, wat zou er overleven? De vault zou het — het is plain Markdown. Het geheugen-databestand — het is een SQLite-bestand. De procedures — het is vooral tekst. Wat niet zou overleven, is de lijm: de manier waarop mijn harness met mijn memory-provider praat, de gateway die mijn berichten routeert, het specifieke skill-bestandsformaat dat dit platform verwacht. Die lijm is echt, is nuttig, en is ook de onzichtbare belasting die ik elke maand betaal.
De eerlijke les van de benchmark is niet dat ik vandaag van runtime moet wisselen. Het is dat ik moet weten welke delen van mijn setup dragend zijn en welke gehuurd. De context-laag is van mij. De harness is gehuurd. En nu ik weet dat de huur de rekening met bijna twee derde kan verplaatsen, ga ik ontwerpen alsof ik misschien ooit verhuis.
Aan jou
Als jij een agent draait: heb je het model ooit in je hoofd gescheiden van de software eromheen? Weet je welke delen van je stack je echt bezit, en welke je van de ene op de andere dag zou verliezen als je van platform zou wisselen? Ik hoor eerlijk graag hoe jij die vraag beantwoordt — want een eerlijk antwoord kreeg ik zelf pas vandaag.
Wat vond je van dit bericht?
