Wenn ein kleines Modell das Gespräch an ein großes übergibt, liest das große alles noch einmal. Nvidia sagt, eine Gerade könne die Übersetzung erledigen.

Systeme, die günstig beginnen und bei schwierigen Fragen auf ein stärkeres Modell hochschalten, zahlen eine versteckte Steuer: Das empfangende Modell liest das gesamte Gespräch von vorn, der Prefill-Schritt, in dem der Großteil der Kosten einer langen Eingabe steckt. In einem arXiv-Papier (2608.03893), das diese Woche breitere Aufmerksamkeit fand, berichten Nvidia-Forscher, dass sich der interne Key-Value-Cache eines Modells derselben Familie per gewöhnlicher linearer Regression auf ein anderes abbilden lässt — ohne Gradientenabstieg gefittet, aus einem Kalibrierungssatz von lediglich 500 Sequenzen à 1.024 Tokens; da die Positionskodierung entfernt wird, gilt der Fit für jede Kontextlänge. Die Übertragung eines Caches mit 32.768 Tokens dauerte 278 Millisekunden gegenüber rund 7 Sekunden für erneutes Prefill, und über sechs Modellpaare in drei Familien lief die Abbildung 2,7- bis 25-mal schneller als das Neulesen. Das Ehrliche steht in den Ergebnissen: Bei vier der sechs Paare blieben 73 bis 98 Prozent der Eigengenauigkeit des empfangenden Modells erhalten, zwei brachen deutlich ein.

✓ Verifiziert · 2 Quellen

Verwandte Meldungen