Un laboratoire de Stanford a lancé en public un entraînement de trois mois à 535 milliards de paramètres — courbes de perte, mélange de données et expériences ratées compris

Le projet Marin de Percy Liang a commencé le préentraînement de Marin 535B-A23B, un modèle à mélange d'experts de 535 milliards de paramètres dont 23 milliards actifs par token, sur 11 baies GB200 NVL72. Le plan publié : 18 750 milliards de tokens — 80 % de préentraînement, 20 % d'entraînement intermédiaire — sur environ trois mois et près de 2,7e24 FLOPs, suivis d'un post-entraînement. Ce qui le distingue d'une sortie ordinaire, c'est que l'exécution elle-même est ouverte : courbes de perte en direct, mélange de données, télémétrie matérielle, configurations, artefacts d'ingénierie et expériences qui n'ont pas marché, avec la possibilité pour l'extérieur de proposer et de lancer des expériences via GitHub. Avant de démarrer, l'équipe a entraîné une échelle de modèles plus petits pour figer la recette.

✓ Vérifié · 3 sources

Actus liées