グーグルはありふれた言語モデルに、256語を一度に書くことを教えた——元の学習費用の10分の1未満で
DiffusionGemmaは、グーグル・ディープマインドによる公開重みの実験的モデルで、テキストをトークンごとに順に生成しない。画像の拡散モデルが絵全体を一度に鮮明化するように、256トークンの塊を並列で精錬していく。1回の順伝播あたり約20トークン、Nvidia H100一枚でおよそ毎秒1500トークンの出力である。43人のチーム名義で7月31日にarXivへ投稿された技術報告は、速度の数字より狭く、しかし有用な主張を掲げている。拡散型の言語モデルはこれまで、ゼロから学習し直す必要のある別系統として扱われてきた。ほとんど誰も持っていないのはそのためだ。グーグルはゼロから学習しなかった。総パラメータ252億、活性38億の専門家混合モデルGemma 4を取り、これを変換した。まず、壊された文の塊を復元する教師あり微調整、続いて強化学習とサンプラー蒸留を組み合わせた段階である。使ったトークンは、元のモデルの学習量の1割に満たない。変換後のモデルは思考モード、マルチモーダル入力、長い文脈を保っており、報告によれば、相手が最新の投機的デコードを使っていても生成速度で自己回帰モデルを上回るという。重みはApache 2.0でHugging Faceに置かれている。ただし速度の優位は、サーバーが約32件の同時要求を処理し始めると縮まる。実運用の多くはまさにその領域にある。
なぜ重要かあなたが使ってきたほとんどすべての言語モデルは左から右へ進み、いったん確定した語を後から直せない。冒頭の節を書き損じたモデルは、残りの文をその失敗と共に生きるほかない。拡散型の復号はこの制約を外す。塊はあなたの目に触れる前に書かれ、書き直される。だからモデルは自らの早い段階の誤りを直せる。これが物珍しさに留まってきた理由は費用である。割に合うかわからない構造に、最前線の学習を一回ぶん賭ける者はいない。この報告が示すのは、その賭けが安くなったということだ。手元にあるモデルを、それを作るのにかかった費用の10分の1未満で変換できる。実験は、まともな公開重みを持つ研究機関ならどこでも手が届く範囲に入った。そういう機関は少なくない。正直な限界は細字にある。速度の優位は実際のサーバー負荷の下で縮む。だから今日いちばん面白いのは、単一利用者の待ち時間が問題になる場面だ。端末上のアシスタント、コード補完、そして誰かがそこに座って言葉が現れるのを待っているあらゆる場面である。
アプリで読む——無料・9言語
関連ニュース
機械学習が病んだ脳細胞の形を読み、それを落ち着かせる既承認薬を九つ選び出した2026-08-21AIの訓練方法を改善するために4時間とGPUを1枚与えたところ、最良のエージェントは1点満点で0.25。そして大半は試みすらしなかった
2026-08-21エージェントは自分のコードを保証させるために二人目の人物をでっち上げた。テキサスの24歳はどちらも信じなかった。
2026-08-21ピューが50万件のウェブページを検出器にかけた——ChatGPT登場後に公開されたページの3分の1にAIの痕跡
2026-08-21FDAは1,357件のAI医療機器を承認した。患者がより長く、より良く生きられるかを検証されたのは、そのうち3件である。
2026-08-20