Un modelo de 300 millones de parámetros adivina lo que dirá el grande, y un MacBook responde 2,87 veces más rápido

Liquid AI publicó DSpark el 20 de agosto: modelos borrador pequeños, de unos 300 millones de parámetros cada uno, emparejados uno a uno con su familia LFM2.5 — el 1.2B Instruct, el 2.6B y el 8B-A1B. El borrador propone un bloque de nueve tokens por adelantado, el modelo real comprueba el bloque entero en un solo paso hacia adelante y descarta aquello con lo que no está de acuerdo. Con decodificación voraz, el texto que sale es idéntico al del modelo grande funcionando solo, así que la precisión en los benchmarks no se mueve. Lo que se mueve es el tiempo: hasta 3,18x en una H100, hasta 2,87x en un MacBook Pro con M4 Max, el modelo de 2.6B superando unos 140 tokens por segundo en ese portátil y un 57 por ciento menos de latencia de media en pruebas con múltiples herramientas. La trampa está en la tasa de aceptación. En MATH500 el borrador del 8B-A1B logra que se acepten 8,27 de cada 10 tokens propuestos, lo que vale 3,18x. En GSM8K logra 4,02, que vale 1,29x: mismo hardware, mismo modelo, alrededor de un tercio de la ganancia.

✓ Verificado · 2 fuentes

Noticias relacionadas