Un laboratorio de Stanford ha empezado en público un entrenamiento de tres meses y 535.000 millones de parámetros: curvas de pérdida, mezcla de datos y experimentos fallidos incluidos
El proyecto Marin, de Percy Liang, ha iniciado el preentrenamiento de Marin 535B-A23B, un modelo de mezcla de expertos con 535.000 millones de parámetros y 23.000 millones activos por token, sobre 11 racks GB200 NVL72. El plan publicado son 18,75 billones de tokens —80 por ciento de preentrenamiento y 20 por ciento de entrenamiento intermedio— durante unos tres meses y cerca de 2,7e24 FLOPs, con postentrenamiento después. Lo que lo distingue de un lanzamiento normal es que la propia ejecución está abierta: curvas de pérdida en vivo, la mezcla de datos, telemetría del hardware, configuraciones, artefactos de ingeniería y los experimentos que no funcionaron, con gente de fuera capaz de proponer y ejecutar pruebas por GitHub. Antes de arrancar, el equipo entrenó una escalera de modelos pequeños para fijar la receta.
Noticias relacionadas
Los grupos de intrusión vinculados a Estados más que duplicaron su volumen de ataques al pasarle a un modelo la parte aburrida2026-08-25Una pregunta que los matemáticos no habían podido responder desde 1948 se respondió el domingo, en un archivo de 108 páginas subido a X
2026-08-25A finales del año pasado, nueve de cada diez artículos biomédicos llevaban las huellas de un modelo de lenguaje
2026-08-24Cerca del 90 por ciento de los directivos dice que la IA no ha elevado la productividad. Los recortes se hacen igual.
2026-08-24Un Claude antiguo incumplió la propia norma de contenido de Anthropic en 10 de 10 intentos, y sigue a la venta en Azure y Bedrock
2026-08-23