Swiftlet fait tenir un modèle de 80 milliards de paramètres dans 4,3 Go de RAM — et un 35B sur un iPhone
Un nouveau runtime open source en Swift et Metal, Swiftlet, streame à la demande les poids d'un mélange d'experts depuis le disque : les couches d'attention, les routeurs et un cache des 'experts' les plus sollicités restent en mémoire, le reste est lu depuis le stockage. Résultat : Qwen3-Next-80B tourne sur un Mac M5 avec environ 4,3 Go de RAM à 4,5-5 tokens par seconde, et un modèle de 35 milliards fonctionne sur un iPhone 17 à environ un token par seconde. Les compromis demeurent : il faut 42 Go de disque libre pour le grand modèle, et l'auteur prévient que ces modèles creux 'conversent comme de grands modèles mais retiennent les faits comme de petits'. Le projet a dominé Hacker News et dépassé 280 étoiles GitHub en une journée.
Pourquoi c'est importantC'est le mur de la mémoire — pas la puce — qui empêchait les grands modèles de tourner sur le matériel grand public. Si le streaming d'experts tient ses promesses, votre matériel actuel accède à une classe de modèles qui exigeait jusqu'ici une station de travail GPU : un enjeu pour la vie privée, l'usage hors ligne et tous ceux qui ne peuvent pas payer d'API.
Lire dans l'app — gratuit, en 9 langues
Actus liées
Apple Music indiquera quand un morceau a été fait par une machine — mais c'est celui qui le publie qui décide de le dire2026-08-21Stripe vient de payer 7,5 milliards pour un routeur de modèles. Quelques jours plus tard, Ramp en construit un et l'offre jusqu'en janvier.
2026-08-21L'assistant de Meta est désormais une app Mac qui lit votre écran et écrit dans n'importe quelle fenêtre — et ce qu'il voit peut entraîner le modèle
2026-08-21Un clic sur un site d'information dit désormais à Google de vous en montrer davantage — et vous restez sur la page que vous lisiez
2026-08-21Adobe génère désormais la musique, la voix off et le claquement de porte — et affirme que la licence vous couvre
2026-08-21