Google a pris un modèle de langage ordinaire et lui a appris à écrire 256 mots d'un coup, pour moins d'un dixième du coût d'entraînement initial

DiffusionGemma est un modèle expérimental à poids ouverts de Google DeepMind qui ne produit pas le texte jeton après jeton. Il affine des blocs de 256 jetons en parallèle, comme un modèle de diffusion d'image rend nette l'image entière d'un seul coup, à raison d'une vingtaine de jetons par passe avant et d'environ 1 500 jetons de sortie par seconde sur une seule Nvidia H100. Le rapport technique, signé par une équipe de 43 auteurs et déposé sur arXiv le 31 juillet, avance une affirmation plus étroite et plus utile que le chiffre de vitesse. Les modèles de langage par diffusion étaient jusqu'ici traités comme une lignée à part, qu'il faut entraîner depuis zéro : c'est pourquoi presque personne n'en possède. Google n'a pas entraîné depuis zéro : il a pris Gemma 4, un modèle à mélange d'experts de 25,2 milliards de paramètres au total et 3,8 milliards actifs, et l'a converti — d'abord un affinage supervisé pour reconstruire des blocs de texte corrompus, puis une étape combinant apprentissage par renforcement et distillation d'échantillonneur — en utilisant moins de dix pour cent des jetons ayant servi au modèle d'origine. Le modèle converti conserve le mode de réflexion, l'entrée multimodale et le contexte long, et le rapport affirme qu'il bat les modèles autorégressifs en vitesse de génération même lorsque ceux-ci recourent au décodage spéculatif le plus avancé. Les poids sont sur Hugging Face sous licence Apache 2.0. L'avantage de vitesse se resserre dès qu'un serveur traite une trentaine de requêtes simultanées, c'est-à-dire le régime dans lequel vivent réellement la plupart des déploiements.

✓ Vérifié · 2 sources

Actus liées