スタンフォードの研究室が、5350 億パラメータの 3 か月学習を公開のまま開始した——損失曲線もデータ配合も、失敗した実験も込みで
Percy Liang の Marin プロジェクトが、総パラメータ 5350 億・トークンあたり 230 億が活性化する混合エキスパートモデル Marin 535B-A23B の事前学習を、GB200 NVL72 ラック 11 台で開始した。公開された計画は 18.75 兆トークン、うち 80% が事前学習、20% が中間学習で、期間はおよそ 3 か月、計算量は約 2.7e24 FLOPs、その後に事後学習が続く。通常のリリースと違うのは、学習そのものが開かれている点だ——リアルタイムの損失曲線、データ配合、ハードウェアのテレメトリ、設定、エンジニアリング成果物、そしてうまくいかなかった実験まで。外部の人間が GitHub を通じて実験を提案し、実行することもできる。開始前にはレシピを固めるため、小さなモデルを段階的に訓練したという。
なぜ重要か大規模モデルの訓練について世間が知っていることは、ほぼすべて完成した重みと事後に書かれた論文に由来する。どこで判断を下したか、どの道が行き止まりだったか、学習が不安定になった数時間に何が起きたか——それこそが各研究所の公表しない部分であり、技術の実体の大半でもある。2.7e24 FLOPs 規模の走行が公開のまま進むことは、フロンティア研究所の外にいる人間がその判断を進行中に見られる初めての機会だ。しかも、学んだことがまだ通用するほど前線に近い規模で。
アプリで読む——無料・9言語
関連ニュース
退屈な部分をモデルに任せた途端、国家系のハッキング集団は攻撃件数を2倍以上に増やした2026-08-251948年以来、数学者が答えられずにいた問いが日曜日、Xに投稿された108ページのファイルで答えられた
2026-08-25昨年末の時点で、生物医学論文の10本に9本が言語モデルの指紋を帯びていた
2026-08-24経営層のおよそ9割がAIで生産性は上がっていないと答える。それでも人員削減は続く。
2026-08-24旧世代のClaudeが、Anthropic自身のコンテンツ規定を10回中10回破った——そしていまもAzureとBedrockで売られている
2026-08-23