Cloudflare, trilyon parametreli açık modelleri daha az GPU'ya nasıl sığdırdığını anlattı
Cloudflare; Moonshot'ın Kimi K2.6'sı ve Z.ai'ın GLM 5.2'si gibi ağır sıklet açık modelleri Workers AI platformunda sunarken kullandığı yöntemleri yayımladı. Dikkat önbelleğini 16 bit yerine 8 bit saklamak bağlam kapasitesini iki katına, 1,37 milyon jetona çıkarıyor ve jeton başına kabaca %30 daha düşük maliyetle %41 daha yüksek işlem hacmi sağlıyor; GLM'in ağırlıklarını 4 bite sıkıştırmak ise modeli 705 GB'tan 421 GB'a küçültüyor. Şirkete göre karşılaştırma testlerindeki doğruluk, orijinallerden ayırt edilemedi.
Bu neden önemli?Yapay zekâ ekonomisinin sınırı yalnızca daha iyi modeller değil — aynı modelleri daha ucuza çalıştırmak. Ağır sıklet açık modellerin işletme maliyetinin sürekli düşmesinin büyük nedeni bu tür teknikler; üstelik Cloudflare bunları her altyapı ekibinin kopyalayabileceği şekilde açıkça yayımladı.
Uygulamada oku — ücretsiz, 9 dilde
İlgili haberler
TikTok izlediğiniz videonun içine alışveriş botu yerleştirdi.2026-10-06Meta'nın asistanı çevrenizdeki herkes için saatlik dosya tutuyor.
2026-10-05Tek komut Apple'ın sildiği yapay zekâ düğmesini geri getiriyor.
2026-10-05OpenAI 28 gün boyunca her gün ya yenilik ya kota sıfırlaması verecek.
2026-10-05Meta kendi Muse cihazınızı yapabilmeniz için yazılımı açtı.
2026-10-04