Werkzeuge
AI Minute Newsroom
2026-08-22
Ein Sprachmodell, das in unter 50 Millisekunden zu sprechen beginnt, und der Serving-Code ist offen
Nari Labs veröffentlichte am 19. August eine Darstellung des Serving-Stacks, den es für Qwen3-TTS 1.7B CustomVoice gebaut hat, und stellte sowohl Implementierung als auch Benchmark unter eine offene Lizenz. Auf einer einzelnen H100 SXM hält das System das 95. Perzentil der Zeit bis zum ersten Audio bei 10 Anfragen pro Sekunde unter 50 Millisekunden und bleibt selbst bei 20 unter 100 Millisekunden. Bei voller Auslastung liegen die Kosten bei rund 2 Dollar pro Million Zeichen Sprache. Der Gewinn kommt aus der Ablaufplanung, nicht aus einem neuen Modell: Die drei Komponenten des Systems, Talker, Code Predictor und Codec, werden als eine Einheit statt als drei getrennte Warteschlangen geplant, Anfragen werden nach Frist priorisiert, damit Streaming-Arbeit nicht hinter Batch-Arbeit hängen bleibt, und die Dekodierung läuft inkrementell mit zwischengespeichertem Zustand.
Warum es wichtig istDie Latenz entscheidet, ob sich eine gesprochene Schnittstelle wie ein Gespräch oder wie ein Telefonmenü anfühlt. Unter etwa 200 Millisekunden liest ein Mensch die Erwiderung als Antwort; jenseits einer halben Sekunde beginnt er darüberzureden. Unter 50 zu kommen bedeutete bislang meist den proprietären Stack eines Sprach-API-Anbieters, mit entsprechendem Preis. Der Kniff, der die Textinferenz seit zwei Jahren umbaut, nämlich dass der größte Teil der Geschwindigkeit in der Serving-Schicht steckt und nicht in den Gewichten, kommt nun im Audio an, öffentlich und mit beiliegendem Code. Wer irgendetwas baut, das spricht, sieht die Untergrenze des Akzeptablen gerade nach oben rücken.
✓ Verifiziert · 2 Quellen
In der App lesen — kostenlos, 9 Sprachen
Verwandte Meldungen
Forscher wollen aus Metas KI-Agent Muse Chats herausgeschleust haben.
2026-11-22ChatGPTs gemeinsamer Arbeitsbereich Space kommt jetzt zu Plus-Nutzern.
2026-11-21Signal sperrt KI-Assistenten auf dem Handy von den Chats aus.
2026-11-20OpenAI öffnet sein neuestes Sprachmodell für Entwickler.
2026-11-20Gemini kann jetzt auf Ihrem Mac selbst klicken und tippen.
2026-11-20