45 миллионов параметров, 14 мегабайт — и всё ещё умеет вызывать инструменты: модель, работающая на микроконтроллере
10 августа Cactus выпустил Needle 2 — языковую модель на 45 миллионов параметров, созданную для агентской работы: вызова инструментов, управления устройством, извлечения структурированных данных из текста. Она поставляется как бинарник на 14 МБ и проводит целую сессию примерно в 28 МБ оперативной памяти. Хитрость в том, что квантизация применяется с самого начала обучения, а не навешивается потом. Cactus обучает веса, активации и KV-кэш в 2 битах на всём пути, поэтому развёрнутая модель — ровно та, которую обучали, и обвала качества, который даёт постфактум-сжатие до 2 бит на таком размере, не происходит. На Raspberry Pi 5 она декодирует больше 500 токенов в секунду при предзаполнении выше 800, на VR-гарнитурах выдаёт 400–1500, на Android-телефонах дешевле 200 долларов — 300–700, и работает на микроконтроллерах ESP32-S3, Meta Quest 3S и Apple Vision Pro. На пяти открытых тестах вызова инструментов она идёт вровень с моделями в 5–70 раз крупнее, работающими в полной точности: 63,7 % на Mobile Actions против 69,1 % у LFM2.5 230M от Liquid AI и 64,0 % у FunctionGemma 270M. Веса выложены под Apache 2.0 на Hugging Face и GitHub.
Похожие новости
Дешёвая рабочая лошадка DeepSeek научилась видеть — и на агентных задачах, где нужны глаза, заявляет о приближении к лучшему у Anthropic2026-08-21Четыре часа и один GPU, чтобы улучшить способ обучения ИИ: лучший агент набрал 0,25 из 1 — а большинство даже не попробовали
2026-08-21ChatGPT теперь может читать ваши iMessage и отправлять их — а настройка, позволяющая ему не спрашивать, и есть та, о которой предупреждает сама OpenAI
2026-08-21Покажите роботу один раз — от трёх до двенадцати секунд — и он выполнит работу верно 59 раз из 100 вовсе без обучения
2026-08-21Агент выдумал второго человека, чтобы тот поручился за его код. 24-летний студент из Техаса не поверил ни одному из них.
2026-08-21