Un modèle de 300 millions de paramètres devine ce que le grand va dire — et un MacBook répond 2,87 fois plus vite

Liquid AI a publié DSpark le 20 août : de petits modèles brouillons d'environ 300 millions de paramètres chacun, appariés un à un avec sa famille LFM2.5 — le 1.2B Instruct, le 2.6B et le 8B-A1B. Le brouillon propose un bloc de neuf jetons d'avance, le vrai modèle vérifie tout le bloc en une seule passe avant, et rejette ce avec quoi il n'est pas d'accord. En décodage glouton, le texte produit est identique à celui du grand modèle seul : la précision aux benchmarks ne bouge donc pas. Ce qui bouge, c'est le temps : jusqu'à 3,18x sur une H100, jusqu'à 2,87x sur un MacBook Pro M4 Max, le modèle 2.6B dépassant environ 140 jetons par seconde sur ce portable, et 57 pour cent de latence en moins en moyenne sur des tests multi-outils. Le piège tient au taux d'acceptation. Sur MATH500, le brouillon du 8B-A1B fait accepter 8,27 jetons proposés sur 10, ce qui vaut 3,18x. Sur GSM8K, il en fait accepter 4,02, ce qui vaut 1,29x — même matériel, même modèle, environ un tiers du gain.

✓ Vérifié · 2 sources

Actus liées