Swiftlet, 80 milyar parametrelik modeli 4,3 GB RAM'e sığdırıyor — 35 milyarlığı ise iPhone'a
Swiftlet adlı yeni açık kaynaklı Swift/Metal çalışma zamanı, uzman karışımı (MoE) ağırlıklarını diskten talep üzerine akıtıyor: Dikkat katmanları, yönlendiriciler ve sık kullanılan 'uzmanların' önbelleği bellekte kalırken gerisi depodan çekiliyor. Sonuç: Qwen3-Next-80B, M5 Mac'te yaklaşık 4,3 GB RAM ile saniyede 4,5-5 jeton üretiyor; 35 milyar parametrelik model ise iPhone 17'de saniyede yaklaşık bir jetonla çalışıyor. Ödünler de var: Büyük model için 42 GB boş disk gerekiyor ve geliştirici, bu denli seyrek modellerin 'büyük model gibi sohbet edip küçük model gibi bilgi hatırladığı' uyarısını yapıyor. Proje bir günde Hacker News'in zirvesine çıktı ve GitHub'da 280 yıldızı aştı.
Bu neden önemli?Büyük modellerin tüketici cihazlarında çalışmamasının nedeni çip değil, bellek duvarıydı. Uzman akıtma yaklaşımı tutarsa, hâlihazırda sahip olduğunuz donanım, şimdiye dek GPU'lu iş istasyonu gerektiren model sınıfına kavuşuyor — bu da gizlilik, çevrimdışı kullanım ve API faturası ödeyemeyenler için önemli.
Uygulamada oku — ücretsiz, 9 dilde
İlgili haberler
TikTok izlediğiniz videonun içine alışveriş botu yerleştirdi.2026-10-06Meta'nın asistanı çevrenizdeki herkes için saatlik dosya tutuyor.
2026-10-05Tek komut Apple'ın sildiği yapay zekâ düğmesini geri getiriyor.
2026-10-05OpenAI 28 gün boyunca her gün ya yenilik ya kota sıfırlaması verecek.
2026-10-05Meta kendi Muse cihazınızı yapabilmeniz için yazılımı açtı.
2026-10-04