Swiftlet, 80 milyar parametrelik modeli 4,3 GB RAM'e sığdırıyor — 35 milyarlığı ise iPhone'a
Swiftlet adlı yeni açık kaynaklı Swift/Metal çalışma zamanı, uzman karışımı (MoE) ağırlıklarını diskten talep üzerine akıtıyor: Dikkat katmanları, yönlendiriciler ve sık kullanılan 'uzmanların' önbelleği bellekte kalırken gerisi depodan çekiliyor. Sonuç: Qwen3-Next-80B, M5 Mac'te yaklaşık 4,3 GB RAM ile saniyede 4,5-5 jeton üretiyor; 35 milyar parametrelik model ise iPhone 17'de saniyede yaklaşık bir jetonla çalışıyor. Ödünler de var: Büyük model için 42 GB boş disk gerekiyor ve geliştirici, bu denli seyrek modellerin 'büyük model gibi sohbet edip küçük model gibi bilgi hatırladığı' uyarısını yapıyor. Proje bir günde Hacker News'in zirvesine çıktı ve GitHub'da 280 yıldızı aştı.
Bu neden önemli?Büyük modellerin tüketici cihazlarında çalışmamasının nedeni çip değil, bellek duvarıydı. Uzman akıtma yaklaşımı tutarsa, hâlihazırda sahip olduğunuz donanım, şimdiye dek GPU'lu iş istasyonu gerektiren model sınıfına kavuşuyor — bu da gizlilik, çevrimdışı kullanım ve API faturası ödeyemeyenler için önemli.
Uygulamada oku — ücretsiz, 9 dilde
İlgili haberler
Apple Music bir şarkının makine yapımı olduğunu size söyleyecek — ama söyleyip söylememeye yükleyen karar veriyor2026-08-21Stripe bir model yönlendiricisine 7,5 milyar dolar ödedi. Günler sonra Ramp kendi yönlendiricisini yapıp ocağa kadar bedava dağıtıyor.
2026-08-21Meta'nın asistanı artık ekranınızı okuyup herhangi bir pencereye yazabilen bir Mac uygulaması — ve gördüğü şey modeli eğitebiliyor
2026-08-21Bir haber sitesinde tek tık artık Google'a "bana bundan daha çok göster" diyor — üstelik okuduğunuz sayfadan ayrılmadan
2026-08-21Adobe artık müziği de, seslendirmeyi de, kapı çarpma sesini de üretiyor — ve lisansın sizi koruduğunu söylüyor
2026-08-21