Araçlar
AI Minute Newsroom
2026-08-04
Swiftlet, 80 milyar parametrelik modeli 4,3 GB RAM'e sığdırıyor — 35 milyarlığı ise iPhone'a
Swiftlet adlı yeni açık kaynaklı Swift/Metal çalışma zamanı, uzman karışımı (MoE) ağırlıklarını diskten talep üzerine akıtıyor: Dikkat katmanları, yönlendiriciler ve sık kullanılan 'uzmanların' önbelleği bellekte kalırken gerisi depodan çekiliyor. Sonuç: Qwen3-Next-80B, M5 Mac'te yaklaşık 4,3 GB RAM ile saniyede 4,5-5 jeton üretiyor; 35 milyar parametrelik model ise iPhone 17'de saniyede yaklaşık bir jetonla çalışıyor. Ödünler de var: Büyük model için 42 GB boş disk gerekiyor ve geliştirici, bu denli seyrek modellerin 'büyük model gibi sohbet edip küçük model gibi bilgi hatırladığı' uyarısını yapıyor. Proje bir günde Hacker News'in zirvesine çıktı ve GitHub'da 280 yıldızı aştı.
Bu neden önemli?Büyük modellerin tüketici cihazlarında çalışmamasının nedeni çip değil, bellek duvarıydı. Uzman akıtma yaklaşımı tutarsa, hâlihazırda sahip olduğunuz donanım, şimdiye dek GPU'lu iş istasyonu gerektiren model sınıfına kavuşuyor — bu da gizlilik, çevrimdışı kullanım ve API faturası ödeyemeyenler için önemli.
✓ Doğrulandı · 2 kaynak
Uygulamada oku — ücretsiz, 9 dilde
İlgili haberler
Araştırmacılar Meta'nın Muse ajanından sohbet sızdırdığını öne sürdü.
2026-11-22ChatGPT'nin ortak çalışma alanı Space, Plus abonelerine açılıyor.
2026-11-21Signal telefondaki yapay zekâ asistanlarına sohbetleri kapattı.
2026-11-20OpenAI en yeni ses modelini geliştiricilere açtı.
2026-11-20Gemini artık Mac'inizde sizin yerinize tıklayıp yazabiliyor.
2026-11-20