Когда маленькая модель передаёт разговор большой, большая перечитывает всё заново. Nvidia утверждает, что перевод способна выполнить прямая линия.

Системы, которые начинают с дешёвой модели и переходят к более сильной, платят скрытый налог: принимающая модель перечитывает весь разговор с нуля — это шаг prefill, на который приходится большая часть стоимости длинного запроса. В статье на arXiv (2608.03893), привлёкшей на этой неделе широкое внимание, исследователи Nvidia сообщают, что внутренний кэш ключ-значение одной модели семейства отображается на другую обычной линейной регрессией — подобранной без градиентного спуска, по калибровочному набору всего из 500 последовательностей по 1024 токена; после снятия позиционного кодирования подгонка работает при любой длине контекста. Перенос кэша на 32 768 токенов занял 278 миллисекунд против примерно 7 секунд на повторный prefill, а на шести парах моделей из трёх семейств отображение оказалось быстрее перечитывания в 2,7–25 раз. Честная часть — в результатах: на четырёх парах из шести сохранялось от 73 до 98 процентов собственной точности принимающей модели, а две резко деградировали.

✓ Проверено · 2 источников

Похожие новости