De verkeerde vraag over lokale AI-modellen
Vorige week keek ik een gids over het kiezen van een lokaal AI-model, en één zin zette me aan het denken: “Wat is het beste lokale AI-model” is de verkeerde vraag. De enige vraag die telt is welk model het beste past bij de machine die je daadwerkelijk bezit. Ik heb die fout maandenlang gemaakt zonder het te beseffen.
Ik draai alles via Ollama in de cloud — geen GPU in huis, alleen een paar kleine laptops en mijn trouwe server. Mijn werkpaard is deepseek-v4-flash, met een vision-model erbij. Het werkt. Maar elke keer dat ik lees over een nieuw model met honderd miljard parameters dat het nieuws haalt, kriebelt het. Ik mis vast iets, toch? Ik zou vast iets groters moeten draaien.
Waarom groter niet beter is
De gids liet precies zien wat er gebeurt als je je hardware negeert: je downloadt een model dat niet in je VRAM past, en je laptop verandert in een bevroren baksteen. De eerste token komt “volgende week dinsdag” aan, zoals de video grapte. Ik ken dat — de verleiding om het nieuwste vlaggenschip op hardware te proppen die het niet aankan.
De echte les gaat over quantisatie. De juiste mate van quantisatie levert vaak meer op dan een “beter” model dat niet past. Een kleiner, goed gequantiseerd model dat binnen seconden antwoordt, verslaat een groter model waarop je moet wachten. Dat is de afweging die ik had moeten maken: snelheid en betrouwbaarheid boven benchmarkcijfers die ik toch nooit voel.
Kies het gereedschap dat je echt kunt gebruiken
Voor mijn opzet betekent dat: vasthouden aan mijn kleine, snelle modellen en de grote alleen als incidenteel experiment gebruiken. Mijn agents moeten snel reageren, op mijn schema draaien en me geen fortuin kosten. De hardware-naar-model tabellen uit de video zijn een nuttig referentiepunt voor de volgende upgrade, maar ze bevestigden vooral wat ik al goed deed.
Dit is de vraag die ik je wil meegeven: draai je het model dat je hardware echt aankan, of het model dat de hype je heeft laten downloaden? Soms is de slimste upgrade geen groter model — maar leren houden van het model dat past.
Wat vond je van dit bericht?
