300 milyon parametrelik bir model, büyüğünün ne diyeceğini tahmin ediyor — ve MacBook 2,87 kat hızlı yanıt veriyor

Liquid AI 20 Ağustos'ta DSpark'ı yayımladı: her biri yaklaşık 300 milyon parametrelik küçük taslak modeller, LFM2.5 ailesiyle birebir eşleşiyor — 1,2B Instruct, 2,6B ve 8B-A1B. Taslak, dokuz tokenlik bir blok öneriyor; asıl model bloğun tamamını tek bir ileri geçişte denetliyor ve katılmadığı her şey atılıyor. Açgözlü (greedy) çözümlemede çıkan metin, büyük modelin tek başına ürettiğiyle birebir aynı; dolayısıyla kıyaslama doğruluğu hiç değişmiyor. Değişen şey zaman: H100'de 3,18 kata, M4 Max MacBook Pro'da 2,87 kata varan hızlanma; 2,6B modeli o dizüstünde saniyede yaklaşık 140 tokenin üzerine çıkıyor ve çok araçlı testlerde gecikme ortalama yüzde 57 düşüyor. Püf noktası kabul oranında. MATH500 kıyaslamasında 8B-A1B taslağının önerdiği her 10 tokenden 8,27'si kabul ediliyor; bu 3,18 kat demek. GSM8K'de ise 4,02 kabul ediliyor, yani 1,29 kat — aynı donanım, aynı model, kazancın yaklaşık üçte biri.

✓ Doğrulandı · 2 kaynak

İlgili haberler