Google cogió un modelo de lenguaje corriente y le enseñó a escribir 256 palabras de golpe, por menos de una décima parte del coste original de entrenamiento

DiffusionGemma es un modelo experimental de pesos abiertos de Google DeepMind que no genera texto token a token. Refina bloques de 256 tokens en paralelo, como un modelo de difusión de imagen que nitidiza el cuadro entero a la vez, produciendo unos veinte tokens por pasada y alrededor de 1.500 tokens de salida por segundo en una sola Nvidia H100. El informe técnico, atribuido a un equipo de 43 autores y depositado en arXiv el 31 de julio, plantea una afirmación más estrecha y más útil que la cifra de velocidad. Los modelos de lenguaje por difusión se han tratado hasta ahora como un linaje aparte que hay que entrenar desde cero, y por eso casi nadie tiene uno. Google no entrenó desde cero: tomó Gemma 4, un modelo de mezcla de expertos con 25.200 millones de parámetros totales y 3.800 millones activos, y lo convirtió —primero ajuste fino supervisado para reconstruir bloques de texto corrompidos, después una fase que combina aprendizaje por refuerzo y destilación del muestreador— empleando menos del diez por ciento de los tokens con los que se entrenó el modelo original. El modelo convertido conserva el modo de razonamiento, la entrada multimodal y el contexto largo, y el informe sostiene que supera en velocidad de generación a los modelos autorregresivos incluso cuando estos usan decodificación especulativa de última generación. Los pesos están en Hugging Face bajo Apache 2.0. La ventaja de velocidad se estrecha en cuanto un servidor atiende unas 32 peticiones simultáneas, que es el régimen en el que viven de verdad casi todos los despliegues en producción.

✓ Verificado · 2 fuentes

Noticias relacionadas