„Hey Jarvis“: Lokale KI-Sprachsteuerung für Home Assistant

Warum kein Alexa?

Ein Sprachassistent in der Küche ist praktisch. Ein Mikrofon, das jedes Gespräch in eine US-Cloud streamt, ist es nicht. Die gute Nachricht: 2026 braucht man für einen brauchbaren Sprachassistenten keine Cloud mehr – Spracherkennung, Sprachausgabe und sogar das Sprachverständnis laufen komplett im eigenen Netz.

Mein Projekt: ein immer lauschendes Android-Tablet in der Küche, das auf „Hey Jarvis” reagiert und das Smart Home steuert. Alle Komponenten Open Source, alle Daten bleiben im Haus.

Die Architektur

[Tablet-Mikrofon]
     │  „Hey Jarvis …"
     ▼
[HA Companion App]  ── Wake-Word-Erkennung (on-device)
     │  Audio-Stream
     ▼
[HA Voice Pipeline]
     ├─ STT:  Wyoming Whisper   → Text
     ├─ NLP:  Ollama (lokal)    → Intent / Antwort
     └─ TTS:  Wyoming Piper     → Sprache
     │
     ▼
[Tablet-Lautsprecher]  „Ja, ich dimme das Licht auf 50 %."

Vier Bausteine, alle selbst gehostet:

• openWakeWord erkennt das Aktivierungswort – direkt auf dem Gerät, es verlässt kein Audio das Tablet, solange niemand „Hey Jarvis” sagt.
• Whisper (als Wyoming-Add-on) wandelt Sprache in Text. Das Modell small-int8 ist mit ~500 MB ein guter Kompromiss aus Genauigkeit und Geschwindigkeit auf normaler Server-Hardware.
• Ollama liefert das Sprachverständnis: Ein lokales LLM interpretiert die Anfrage und formuliert die Antwort – derselbe Server, auf dem auch meine anderen Private-AI-Experimente laufen.
• Piper macht aus der Antwort wieder Sprache – mit erstaunlich natürlichen deutschen Stimmen.

Home Assistant orchestriert das Ganze über die Voice Pipeline: Assist-Konfiguration, Auswahl von STT/TTS/Conversation-Agent, fertig.

Die Einrichtung in Kürze

Auf Home Assistant OS sind die Wyoming-Komponenten Add-ons aus dem Store – Whisper und Piper installieren, Sprache auf de stellen, Modellgröße wählen. Danach in den Assist-Einstellungen eine Pipeline anlegen und die Komponenten zuordnen. Als Conversation Agent lässt sich statt der eingebauten Intent-Erkennung ein LLM über die Ollama-Integration einhängen – dann versteht Jarvis auch Sätze wie „Mir ist kalt” und schlägt vor, die Heizung anzuheben.

Das Tablet läuft mit der HA Companion App, die die Wake-Word-Erkennung lokal übernimmt und den Audio-Stream erst nach der Aktivierung an die Pipeline schickt.

Ehrliche Zwischenbilanz

Das Projekt ist bei mir noch in Arbeit – und genau deshalb schreibe ich es auf. Ein paar Erkenntnisse jetzt schon:

1. Latenz ist das eigentliche Duell. Alexa antwortet in unter einer Sekunde. Eine lokale Pipeline mit Whisper small und einem 8B-Modell braucht spürbar länger – akzeptabel, aber der Unterschied ist da. Kleinere Modelle helfen, kosten aber Verständnis.
2. Wake-Word on-device ist der Datenschutz-Gamechanger. Die Architektur-Entscheidung, openWakeWord auf dem Tablet laufen zu lassen, bedeutet: kein Dauerstream ins Netzwerk.
3. Deutsch ist gut versorgt. Whisper und Piper liefern auf Deutsch erstaunlich gute Ergebnisse – das war vor zwei Jahren noch anders.

Sobald Jarvis zuverlässig läuft, folgt Teil 2 mit Konfiguration im Detail und Praxis-Fazit.

Übertragbar aufs Unternehmen?

Dieselbe Architektur – lokale Spracherkennung plus lokales LLM – funktioniert überall dort, wo Sprache verarbeitet werden soll, aber nichts das Haus verlassen darf: Diktat in der Arztpraxis, Protokollierung im Handwerksbetrieb, barrierefreie Bedienung von Maschinen. Wenn Sie so etwas umtreibt: Sprechen Sie mich an – gern auch mit „Hey Sascha”.