Cuando un modelo pequeño pasa la conversación a uno grande, el grande vuelve a leerlo todo. Nvidia dice que una recta puede hacer la traducción.

Los sistemas que empiezan barato y escalan a un modelo más potente pagan un impuesto oculto: el modelo receptor relee la conversación entera desde cero, el paso llamado prefill, donde se concentra la mayor parte del coste de un prompt largo. En un artículo de arXiv (2608.03893) que ganó atención esta semana, investigadores de Nvidia informan de que la caché interna clave-valor de un modelo de una familia se proyecta sobre la de otro mediante una regresión lineal corriente, ajustada sin descenso de gradiente a partir de un conjunto de calibración de apenas 500 secuencias de 1.024 tokens y, al eliminar la codificación posicional, reutilizable con cualquier longitud de contexto. Transferir una caché de 32.768 tokens llevó 278 milisegundos frente a unos 7 segundos de relectura, y en seis pares de modelos de tres familias el mapeo resultó entre 2,7 y 25 veces más rápido. La parte honesta está en los resultados: conservó entre el 73 y el 98 por ciento de la precisión propia del modelo receptor en cuatro de los seis pares, y dos se degradaron con fuerza.

✓ Verificado · 2 fuentes

Noticias relacionadas