Un modelo de voz que empieza a hablar en menos de 50 milisegundos, y el código de servicio es abierto

Nari Labs publicó el 19 de agosto una explicación del sistema de servicio que ha construido para Qwen3-TTS 1.7B CustomVoice, y liberó tanto la implementación como el banco de pruebas. En una sola H100 SXM mantiene el percentil 95 del tiempo hasta el primer audio por debajo de 50 milisegundos con 10 peticiones por segundo, y sigue por debajo de 100 milisegundos incluso con 20. A plena carga el coste sale en torno a 2 dólares por millón de caracteres de habla. La mejora viene de la planificación y no de un modelo nuevo: los tres componentes del sistema, el Talker, el Code Predictor y el códec, se planifican como una sola unidad en lugar de tres colas separadas, las peticiones se priorizan por fecha límite para que el trabajo en streaming no quede atascado detrás del trabajo por lotes, y la decodificación es incremental con estado en caché.

✓ Verificado · 2 fuentes

Noticias relacionadas