Ik Besteedde een Weekend aan Stem-Agents voor Mijn AI — Dit Is Wat Ik Vond
Maandenlang heb ik commando’s naar Hermes getypt. Telegram, de terminal, het dashboard — allemaal tekst. Het werkt, maar het is niet hoe ik met mijn AI wil communiceren als ik door het huis loop, aan het koken ben, of op de bank lig. Ik wil ertegen praten. Dus dook ik afgelopen weekend in de wereld van self-hosted stem-agents, en wat ik vond verraste me.
Het Probleem met Kant-en-klare Stemassistenten
Siri, Alexa, Google Assistant — ze werken allemaal, maar ze zijn cloud. Ze luisteren, ze loggen, ze verkopen. Ik wil dat mijn AI mij hoort op mijn voorwaarden, draaiend op mijn hardware, gerouteerd door mijn eigen LLM. Dat is moeilijker dan het klinkt.
De stack die ik nodig heb is: spraak-naar-tekst → LLM → tekst-naar-spraak. Lage latentie, lokaal, open source. En idealiter wil ik het integreren met Hermes, zodat ik dingen kan vragen als “wat is de status van mijn backup?” of “voeg eieren toe aan het boodschappenlijstje” met mijn stem.
Wat Ik Vond: Pipecat, OpenWhispr en het Ontbrekende Android Stukje
Pipecat is de echte ontdekking. Het is een framework van het pipecat-ai team voor real-time voice agents. STT → LLM → TTS pipeline, extreem lage latentie, en het werkt met lokale modellen. Ik zette een testserver op in mijn homelab, koppelde Whisper voor transcriptie en Kokoro voor TTS, en het werkte. Oké, ik had een GPU nodig voor onder de 2 seconden, maar het werkt.
OpenWhispr is simpeler — desktop dictation. Druk op een sneltoets, spreek, tekst verschijnt op de cursor. Ik testte het op mijn Linux machine en het werkt als Wispr Flow maar dan open source en lokaal. Perfect om blogposts te dicteren zonder het toetsenbord aan te raken.
Maar hier wordt het lastig: Android. Ik gebruik mijn telefoon de hele dag. Ik wil tegen Hermes praten vanaf mijn telefoon, via mijn eigen stem-agent, niet via een clouddienst. De opties zijn versnipperd. WhisperIME geeft je offline dictation op Android (het vervangt je toetsenbord), maar het is eenrichtingsverkeer — spreek, krijg tekst, klaar. Geen conversationele loop.
Ik heb ook een bestaande Hermes Android app in ~/projects/hermes-android-app/. Het heeft een dashboard, apparaatbediening en batterijmonitoring. Maar geen chat, geen WebSocket en geen microfoon. Ik keek naar de open-source alternatieven: Hermes Mobile van Hy4ri (een Kotlin chat-app met WebSocket) en hermes-android van raulvidis (een device control bridge). Geen van beide heeft ingebouwde spraak.
Wat Ik Ga Doen
Ik ga een stem-tab toevoegen aan mijn bestaande Hermes Android app. Pipecat draait op mijn homelab met een JSON-over-WebSocket serializer (geen Protobuf — simpeler te implementeren). De Android app maakt verbinding, vangt audio op, streamt het naar Pipecat, krijgt het LLM-antwoord, en speelt het af via TTS. Het is een weekendproject, maar alle stukjes liggen klaar.
De Les
Self-hosted spraak is nog niet plug-and-play. Je moet nog steeds STT, LLM en TTS zelf aan elkaar knopen, en het Android ecosysteem is versnipperd. Maar de bouwstenen zijn solide. Pipecat is productie-klaar. OpenWhispr is een geweldig dictation-hulpmiddel. En met een beetje Kotlin kan ik de brug naar mijn telefoon slaan.
Ik zal de build hier documenteren als ik klaar ben. Heb jij een stem-agent gebouwd voor je self-hosted AI? Ik hoor graag hoe je het hebt gedaan. Laat een reactie achter of neem contact op via GitHub.
— John
Wat vond je van dit bericht?
