小さなモデルが会話を大きなモデルに渡すと、大きい方はすべてを読み直す。エヌビディアは、その翻訳を一本の直線で済ませられるという。
安いモデルで始めて難しくなったら強いモデルに引き継ぐ仕組みには、隠れた税金がある。引き継いだ側が会話全体を最初から読み直すのだ。プレフィルと呼ばれるこの工程に、長いプロンプトの費用の大半が乗っている。今週になって広く注目されたarXivの論文（2608.03893）で、エヌビディアの研究者は、同じ系列に属するあるモデルの内部キー・バリュー・キャッシュが、通常の線形回帰によって別のモデルのそれに写像できると報告した。勾配降下は使わず、1,024トークンの系列500本という校正データだけで当てはめる。位置符号を外してあるため、どの文脈長でも使い回せる。32,768トークンのキャッシュの移送は278ミリ秒。読み直しはおよそ7秒だった。三つの系列にまたがる六組のモデルで、この写像は読み直しより2.7倍から25倍速かった。正直な部分は結果の側にある。六組のうち四組では受け手のモデル自身の精度の73から98パーセントを保ったが、残る二組は大きく劣化した。
なぜ重要か小さく答え、難しくなったら大きい方へ渡すという段階化は、まともなエージェント系がいま実際に組まれている形であり、その引き継ぎは同じ文脈に二度支払うことを意味する。二つのモデルの作業記憶のあいだの変換が本当にほぼ線形なら、この二度目の支払いはほぼ消える。六組のうち二組が大きく崩れたことこそ、これを製品ではなく研究結果として読むべき理由だ。手法は二つのモデルがキー・バリュー・ヘッドの数と一ヘッドあたりの次元を共有していること、つまり同一系列であることを求めており、ベンダーをまたいで機能する証拠はまだない。
アプリで読む——無料・9言語
関連ニュース
270億パラメータのモデルが、論文の再現でOpus 4.8とGPT-5.5を上回った2026-08-23未発表論文の参考文献リストだけを渡して、その論文が何を言っているか当てさせる。最良のモデルでも正答率は15％だ。
2026-08-22米国人の四分の三は近くにデータセンターを望まない。一年前は賛否が拮抗していた。
2026-08-22モデル単体では30パーセント。エヌビディアの足場に載せた同じモデルが、全部を解いた。
2026-08-22機械学習が病んだ脳細胞の形を読み、それを落ち着かせる既承認薬を九つ選び出した
2026-08-21