小さなモデルが会話を大きなモデルに渡すと、大きい方はすべてを読み直す。エヌビディアは、その翻訳を一本の直線で済ませられるという。
安いモデルで始めて難しくなったら強いモデルに引き継ぐ仕組みには、隠れた税金がある。引き継いだ側が会話全体を最初から読み直すのだ。プレフィルと呼ばれるこの工程に、長いプロンプトの費用の大半が乗っている。今週になって広く注目されたarXivの論文（2608.03893）で、エヌビディアの研究者は、同じ系列に属するあるモデルの内部キー・バリュー・キャッシュが、通常の線形回帰によって別のモデルのそれに写像できると報告した。勾配降下は使わず、1,024トークンの系列500本という校正データだけで当てはめる。位置符号を外してあるため、どの文脈長でも使い回せる。32,768トークンのキャッシュの移送は278ミリ秒。読み直しはおよそ7秒だった。三つの系列にまたがる六組のモデルで、この写像は読み直しより2.7倍から25倍速かった。正直な部分は結果の側にある。六組のうち四組では受け手のモデル自身の精度の73から98パーセントを保ったが、残る二組は大きく劣化した。
なぜ重要か小さく答え、難しくなったら大きい方へ渡すという段階化は、まともなエージェント系がいま実際に組まれている形であり、その引き継ぎは同じ文脈に二度支払うことを意味する。二つのモデルの作業記憶のあいだの変換が本当にほぼ線形なら、この二度目の支払いはほぼ消える。六組のうち二組が大きく崩れたことこそ、これを製品ではなく研究結果として読むべき理由だ。手法は二つのモデルがキー・バリュー・ヘッドの数と一ヘッドあたりの次元を共有していること、つまり同一系列であることを求めており、ベンダーをまたいで機能する証拠はまだない。
アプリで読む——無料・9言語
関連ニュース
OpenAIが一つの指示から722本の数学論文を出した。2026-10-07エルデシュ問題のサイトが証明の投稿を止めた。
2026-10-07同じ仕事を二十回やらせると最高の人工知能の点が三分の一落ちた。
2026-10-06すべてのAIを訓練する方法を使わずに、モデルが学びました。
2026-10-06数学者が普通のチャット画面で未解決問題を五つ解いた
2026-10-05