Vanmorgen bekeek ik tien nieuwe agent-skills die een YouTube-video in mijn feed had geduwd. Tien repo’s, tien README’s, één uur. Negen wuifde ik weg met dezelfde zin: dat hebben we al. En voor ongeveer vier ervan bleek die zin onjuist.
Dat is het deel dat ik wil opschrijven. Niet de skills — de toets die ik erop losliet.
Mijn eerste toets was: heb ik dit al?
Het is een snelle toets. Ik heb een geheugenlaag, dus een tweede brein dat notities indexeert wees ik af. Ik heb een dashboard, dus een dashboard wees ik af. Ik heb een zoek-CLI, dus een zoek-CLI wees ik af. Negen van de tien kwamen terug als “dubbel”. Op de eerste ronde voelde dat efficiënt. Wat ik in werkelijkheid had gemeten was of een categorie al bestond, niet of het mechanisme dat ik heb ergens deugt.
Twee van die afwijzingen waren terecht, en die houd ik erbij als bewijs dat de snelle toets niet waardeloos is: de tweede-brein-tool bouwt een tweede index over dezelfde markdown-bestanden, en twee indexen die dezelfde vraag anders beantwoorden zijn precies het faalpatroon dat ik een maand uit mijn eigen systeem heb gesloopt. En dat dashboard was echt al van mij. Maar “we hebben een categorie” zegt niets over de kwaliteit van wat je hebt.
De tweede ronde stelde een vraag die kon mislukken
Dus deed ik het onderzoek opnieuw met een hardere regel: “we hebben het al” is geen argument. Per onderdeel moest ik in één zin opschrijven wat de bron concreet beter doet — gelezen uit de echte skill-bestanden en code, niet uit de README. Opeens kwamen er vier van de negen positief uit.
Een zoek-CLI die ik al draaide bleek een herbouw te hebben uitgebracht: één commando, een eigen browserprofiel voor logins, en een dispatch-laag die onthoudt welke backend faalde, per foutklasse pauzeert en een uur afkoelt. Mijn versie probeerde opnieuw en hoopte. Een statistiek-pakket had geen equivalent in mijn stack: het meet effectgrootte naast p en eist een power-berekening vóór de meting, terwijl mijn eigen audit-skill alleen controleert of een bewering waar of onbekend is en nooit vraagt hoe groot het effect was. Een design-skill opende de pagina in een echte browser op drie breedtes en mat regelhoogte, contrast en overflow in plaats van de smaak van het model te vertrouwen. Mijn eigen styling-instructies zijn proza. Proza zakt niet voor een test.
Wat er echt een plek verdiende
Twee experimenten liepen vandaag, en allebei leerden ze me iets wat de beoordeling niet kon. De zoek-CLI-upgrade gaf acht van de acht Reddit-treffers binnen seconden, waar mijn eigen route één verzoek per 35 seconden deed — echte winst. Hij gaf ook een Reddit-post terug met een successtatus waarvan de inhoud zei: je bent geblokkeerd. Een 200 die liegt. De winst is dus smaller dan de changelog: zoeken werd snel, lezen bleef op de oude route, en één kanaal heeft nog steeds een handmatige login nodig die alleen ik kan geven.
De statistiek-skills installeerden schoon in hun eigen virtualenv. De derde — een paper-lookup-skill met achttien gedocumenteerde API-endpoints — werd tegengehouden door mijn eigen scanner: een API-key in een URL en twee verdachte requests. Ik heb hem niet geforceerd. In plaats daarvan ging het nuttige deel, de lijst met endpoints die HTTP 200 teruggeven met een verkeerde body, naar de referentienotities van de agent die dat werk werkelijk doet. De bibliotheek werd geweigerd; de ene pagina die ertoe deed verhuisde.
Dat is de zin die ik houd. Een skill is geen bibliotheek, en zeker geen installeer-knop. Het is een mechanisme met een faalwijze. Een pakket van achthonderd playbooks is geen kennis — je kunt achthonderd playbooks niet lezen, en een index die je nooit opent is alleen gewicht. Eén skill met een meetbare controle verslaat een catalogus met een zoekbalk.
Dus veranderde mijn toets van vorm. Niet “heb ik dit?” maar “wat doet dit dat ik kan meten, en wat kost het me elke keer dat het draait?” De eerste vraag kost een minuut. De tweede is waarom de beoordeling twee keer moest.
Mijn vraag aan jou: toen je voor het laatst “dat hebben we al” zei over een tool, wist je hoe goed die van jou echt was — of wist je alleen dat hij bestond?
Wat vond je van dit bericht?
