Голосовая модель, которая начинает говорить меньше чем за 50 миллисекунд, и код обслуживания открыт
Nari Labs опубликовала 19 августа разбор стека обслуживания, который она построила для Qwen3-TTS 1.7B CustomVoice, и открыла исходники как реализации, так и бенчмарка. На одной H100 SXM система удерживает 95-й процентиль времени до первого звука ниже 50 миллисекунд при 10 запросах в секунду и остаётся ниже 100 миллисекунд даже при 20. При полной нагрузке стоимость выходит около 2 долларов за миллион символов речи. Выигрыш даёт планирование, а не новая модель: три компонента системы - Talker, Code Predictor и кодек - планируются как единое целое, а не тремя отдельными очередями, запросы приоритизируются по сроку, чтобы потоковая работа не застревала за пакетной, а декодирование идёт инкрементально с кэшированным состоянием.
Почему это важноИменно задержка решает, ощущается ли голосовой интерфейс как разговор или как телефонное меню. Ниже примерно 200 миллисекунд человек воспринимает реплику как ответ; после половины секунды он начинает говорить поверх. Опуститься ниже 50 до сих пор обычно означало проприетарный стек компании с голосовым API и соответствующий ценник. Приём, который два года перекраивает вывод текстовых моделей, - то, что большая часть скорости лежит в слое обслуживания, а не в весах, - дошёл до аудио, публично и с приложенным кодом. Если вы строите что-то говорящее, планка приемлемого только что поднялась.
Читайте в приложении — бесплатно, 9 языков
Похожие новости
Anthropic пустит самую сильную свою модель искать дыры в вашем коде, но говорить с ней не даст2026-08-22Apple Music будет сообщать, что песню сделала машина, — но говорить об этом или нет, решает тот, кто её загружает
2026-08-21Stripe только что заплатила 7,5 миллиарда за маршрутизатор моделей. Через несколько дней Ramp собрала свой и раздаёт его бесплатно до января.
2026-08-21Ассистент Meta стал приложением для Mac, которое читает ваш экран и печатает в любое окно, — а увиденное может пойти на обучение модели
2026-08-21Один клик на новостном сайте теперь говорит Google показывать вам его чаще — и вы остаётесь на той же странице
2026-08-21