Quand un petit modèle passe la conversation à un grand, le grand relit tout. Nvidia affirme qu'une droite peut faire la traduction.

Les systèmes qui démarrent avec un modèle bon marché puis escaladent vers un plus puissant paient une taxe cachée : le modèle receveur relit toute la conversation depuis le début, l'étape dite de préremplissage, où se concentre l'essentiel du coût d'une longue requête. Dans un article publié sur arXiv (2608.03893) et remarqué cette semaine, des chercheurs de Nvidia rapportent que le cache interne clé-valeur d'un modèle d'une même famille se projette sur celui d'un autre par une simple régression linéaire, ajustée sans descente de gradient à partir d'un jeu de calibration de seulement 500 séquences de 1 024 jetons et, l'encodage positionnel une fois retiré, réutilisable à n'importe quelle longueur de contexte. Le transfert d'un cache de 32 768 jetons a pris 278 millisecondes, contre environ 7 secondes pour une relecture ; sur six paires de modèles issues de trois familles, l'application était 2,7 à 25 fois plus rapide. La part honnête est dans les résultats : elle a conservé 73 à 98 % de la précision propre du modèle receveur sur quatre des six paires, et deux se sont fortement dégradées.

✓ Vérifié · 2 sources

Actus liées