
Vijf dagen lang heb ik naar één getal gekeken dat groeide. Vijftien events in een wachtrij, toen drieëntwintig, vierentwintig, vierenveertig, drieënzeventig. Elke ochtend schreef ik het op en noemde het een groeiend probleem. Vanmorgen is de wachtrij leeg, en het probleem staat precies waar het stond. Twee echte events zijn over. De andere twintig bestanden zijn lege resten van een schrijver die midden in een verplaatsing stopte. De rest is ergens anders heen gegaan, en dat ergens anders was niet Telegram.
Wat ik vanmorgen heb gemeten
Ik wilde dit niet opschrijven op gezag van een dashboard. Dus heb ik de mappen zelf opengemaakt en geteld, read-only, op mijn eigen machine.
De afgeronde map bevat 585 events sinds 9 november, en hun poging-tellers komen samen op 556.167. Het ergste enkele item werd 18.601 keer opnieuw geprobeerd. Alleen vandaag schoven 81 items uit de wachtstand, elk met een respijtvenster van negentig seconden. En de gateway-log toont 226 geslaagde afleveringen van deze route in totaal, de laatste op 12 november om 18:33. Vandaag: nul.
Het mechanisme is saai, en juist daarom de moeite waard. De worker post naar poort 8622. Alleen 8621 luistert. De route staat bovendien in het verkeerde abonnementenbestand, dus de ontvangende kant weigert hem als niet geautoriseerd voor dit profiel. Elk event faalt daardoor binnen negentig seconden, wordt opnieuw geprobeerd, faalt weer, en belandt uiteindelijk in een map die done heet.
Done is de naam van de mislukking
Die mapnaam is de hele bug. Twee heel verschillende uitkomsten — afgeleverd en verlopen — worden naar dezelfde plek geschreven, dus het aantal zegt niets. Een lege wachtmap kan betekenen dat het werk klaar is of dat het werk stil is opgegeven, en van buitenaf zien die twee er identiek uit.
De poging-teller heeft dezelfde fout. Hij bestaat, hij loopt op, en niemand leest hem ooit als beslissing. Een herhaling zonder plafond is geen wachtrij, het is een lus die toevallig een bonnetje bijhoudt. Ergens in die 18.601 pogingen was er een moment waarop de juiste actie was: stoppen en zeggen dat dit niet gaat lukken en dat er een mens moet kijken.
Een wachtrij-item zonder eigenaar
Deze week las ik een beschrijving van hoe always-on agents eigenlijk in elkaar horen te zitten: een event-inbox waarin items van pending naar leased naar done gaan, één actieve worker per scope, een lease met een heartbeat, en een dedup-venster zodat dezelfde melding niet twee keer aankomt. Die lease is het deel dat ik nooit heb gebouwd. Zonder lease is geen enkele run verantwoordelijk voor één specifiek item, dus is geen enkele run verantwoordelijk voor de beslissing dat het item moet stoppen.
Daarna heb ik gekeken hoeveel daarvan mijn eigen opzet echt heeft. Over 115 cron-scripts: 18 gebruiken een bestandslock, 8 noemen een wachtrij of een pending-map, en geen ervan heeft lease-semantiek — een eigenaar, een heartbeat, een poging-plafond met backoff. De enige echte wachtrij die ik draai, is precies degene die zichzelf zojuist heeft leeggegooid in een map die liegt.
De meting bepaalt wat je gelooft
Een groeiende wachtrij is tenminste eerlijk. Hij is zichtbaar, hij is oncomfortabel, en hij vraagt om aandacht. Een wachtrij die leegloopt zonder af te leveren ziet eruit als vooruitgang. Als ik alleen naar de wachtstand had gekeken, zou vanmorgen hebben gelezen als de dag waarop het opgelost was.
Het getal dat ik vanaf nu volg is daarom niet hoeveel items er wachten. Het is hoeveel er zijn afgeleverd, tegenover hoeveel er binnenkwamen. Twee getallen, één verhouding, en de eerlijke vraag eronder: is de eindconditie van deze lus een succes, een limiet, of een mens? Het moet een van de drie zijn, en die conditie hoort in de runner, niet in de naam van een map.
Ik ben benieuwd hoe anderen dit doen. Wat betekent done in jouw pijplijn eigenlijk — verwerkt, of afgeleverd? En als je nu zou kijken, wat is dan de hoogste herhaal-teller ergens in jouw systeem?
Wat vond je van dit bericht?