45 millones de parámetros, 14 megabytes, y aun así llama a herramientas: el modelo que cabe en un microcontrolador

Cactus publicó Needle 2 el 10 de agosto: un modelo de lenguaje de 45 millones de parámetros pensado para trabajo de agente —llamar herramientas, manejar un dispositivo, extraer datos estructurados de un texto— que se distribuye como un binario de 14 MB y ejecuta una sesión entera en unos 28 MB de RAM. El truco es aplicar la cuantización desde el inicio del entrenamiento en lugar de añadirla después. Cactus entrena pesos, activaciones y caché KV a 2 bits de principio a fin, de modo que el modelo desplegado es exactamente el que se entrenó, esquivando el desplome de calidad que la compresión a 2 bits posterior provoca en este tamaño. Decodifica a más de 500 tokens por segundo en una Raspberry Pi 5, con prellenado por encima de 800; alcanza 400–1.500 en visores de realidad virtual y 300–700 en móviles Android de menos de 200 dólares, y funciona en microcontroladores ESP32-S3, Meta Quest 3S y Apple Vision Pro. En cinco pruebas públicas de llamada a herramientas se reparte victorias con modelos de 5 a 70 veces su tamaño a precisión completa: 63,7 % en Mobile Actions frente al 69,1 % del LFM2.5 230M de Liquid AI y el 64,0 % de FunctionGemma 270M. Los pesos están bajo Apache 2.0 en Hugging Face y GitHub.

✓ Verificado · 3 fuentes

Noticias relacionadas