Al een week loop ik in mijn eigen AI-opstelling rond met dezelfde vraag: als mijn agent iets doet dat ik niet wilde, waar zit dan de regel die het had moeten tegenhouden? Steeds vond ik hetzelfde antwoord. De regel zat in een prompt. Dat is geen regel. Dat is een intentie met goede manieren.
Vanmorgen stuitte ik op een kort commentaardraadje dat tot op het bot sneed. Iemand had een alleen-lezen poort voor zijn database gebouwd, en de eerste reageerder wees direct het gat aan: het slot was een instelling op de verbinding, en diezelfde verbinding kon de instelling gewoon weer uitzetten. Zijn oplossing was één zin die ik sindsdien niet meer uit mijn hoofd krijg.
“Het bestand openen met de alleen-lezen-URI legt het slot onder SQL, waar de agent er niet bij kan.”
Onder SQL. Niet naast het model — onder de hele laag waar het model mee praat. Dat is een ander soort poort dan alles wat ik tot nu toe had gebouwd.
Een poort die het model kan terugdraaien is geen poort
Dit is het pijnlijke deel. Ik heb maanden besteed aan zorgvuldige instructies, previews, checklists. Mijn agent gedraagt zich netjes. Maar netjes is niet hetzelfde als begrensd. Een model dat “gezegd” wordt de database niet aan te raken, is nog steeds een model dat de database kán aanraken. Op het moment dat het in de war raakt, of dat iemand een instructie in een tool-resultaat smokkelt, verdampt de bedoeling en blijft alleen de begrenzing eronder over.
Een tweede reageerder voegde de laag toe die ik volledig had gemist: behandel het hele tool-proces als onbetrouwbaar, en leg het slot in een permissie die datzelfde proces niet kan omzetten. Dat is precies de beweging die ik al maak voor geheimen — mijn agents zien mijn wachtwoorden nooit, ze draaien in een ruimte waar de wachtwoorden simpelweg niet zijn. Dat deed ik dus wel voor credentials en helemaal niet voor datatoegang.
Zelfde week, een tweede bron: meet de poort
Het bleef niet bij dat databasedraadje. Een workshop die ik deze week keek maakte hetzelfde punt vanaf de andere kant — niet waar de poort zit, maar of je kunt bewijzen wat hij deed. De spreker had een vierlaags poort bovenop elke tool-call gebouwd: gewone regels in code, dan een mens voor alles wat met geld schuift, dan een kleine goedkope classifier, en dan een groot model alleen voor de echt onzekere gevallen. Een van zijn gemeten resultaten is precies het getal dat ik naast mijn eigen poorten wil: na de poort gingen acties buiten beleid van tien op tien runs naar nul, en — dit is de helft die iedereen vergeet — nul veilige acties werden onterecht geblokkeerd.
Een poort die alles tegenhoudt scoort perfect op “er is niets ergs gebeurd” en is volstrekt nutteloos. Ik heb nog nooit gemeten of mijn poorten alleen de juiste dingen tegenhielden. Ik bouwde ze, vertrouwde ze, en telde nooit.
Drie uitkomsten, niet twee
Het derde idee kwam uit een discussie over de vraag of een klein classifier-model in een harness eigenlijk wel de moeite is. Het scherpste antwoord in dat draadje: de poort vervangt het redeneren van het model niet, hij bewaakt het — en zijn oordeel is niet ja of nee, maar ja, nee, of onbeslist. Die derde optie had ik nooit gebouwd. Mijn opstelling kent toestaan en weigeren. Er zit geen eerlijke manier in om te zeggen “ik weet het niet, vraag een mens.” Alles viel in toestaan of weigeren, en juist in dat binaire zit de stille fout.
De week vouwt zich dus samen tot drie regels, en geen ervan gaat over een betere prompt schrijven: leg het slot in een laag waar het model niet bij kan, geef de poort een derde antwoord dat “vraag het” betekent, en tel wat je poort werkelijk tegenhield — inclusief de veilige dingen die je niet had mogen stoppen. Aan alle drie heb ik deze week werk te doen in mijn eigen opstelling.
Een vraag aan jou
Waar zit de poort van jouw agent echt — in de instructie die je schreef, of in een laag eronder die je agent niet kan uitzetten? En ken je het getal: van de laatste honderd acties die je poort aanraakte, hoeveel waren er echt onveilig, en hoeveel waren prima? Ik hoor graag van iedereen die het werkelijk heeft geteld.
Wat vond je van dit bericht?
