Neue Modelle AI Minute Newsroom 2026-08-12

45 Millionen Parameter, 14 Megabyte — und es ruft trotzdem Werkzeuge auf: das Modell für den Mikrocontroller

Cactus hat am 10. August Needle 2 veröffentlicht: ein Sprachmodell mit 45 Millionen Parametern, gebaut für Agentenarbeit — Werkzeugaufrufe, Gerätebedienung, strukturierte Daten aus Text ziehen —, das als 14-MB-Binärdatei ausgeliefert wird und eine ganze Sitzung in rund 28 MB RAM abwickelt. Der Kniff ist eine Quantisierung, die von Beginn des Trainings an gilt statt nachträglich aufgesetzt zu werden. Cactus trainiert Gewichte, Aktivierungen und den KV-Cache durchgehend mit 2 Bit, sodass das ausgelieferte Modell exakt das trainierte ist — der Qualitätseinbruch, den nachträgliche 2-Bit-Kompression in dieser Größenordnung verursacht, entfällt. Auf einem Raspberry Pi 5 dekodiert es über 500 Token pro Sekunde bei einem Prefill von mehr als 800; auf VR-Headsets 400 bis 1.500, auf Android-Telefonen unter 200 Dollar 300 bis 700. Es läuft auf ESP32-S3-Mikrocontrollern, Meta Quest 3S und Apple Vision Pro. In fünf öffentlichen Werkzeugaufruf-Benchmarks hält es mit 5- bis 70-mal größeren Modellen in voller Präzision mit: 63,7 % bei Mobile Actions gegenüber 69,1 % für Liquid AIs LFM2.5 230M und 64,0 % für FunctionGemma 270M. Die Gewichte stehen unter Apache 2.0 auf Hugging Face und GitHub.

Warum es wichtig istFast jeder Sprachassistent, der heute in einer Türklingel, einem Auto oder einem Kopfhörer steckt, ist ein dünner Client für das Rechenzentrum eines anderen. Deshalb funktionieren sie ohne Verbindung nicht, deshalb kostet jede Interaktion den Hersteller Geld, und deshalb läuft alles Gesagte über einen Server. Ein Modell dieser Größe verändert diese Rechnung, denn 14 MB passen in den Flash-Speicher von Hardware für wenige Dollar. Needle 2 ist nicht klug und kann kein Gespräch führen; es ist gebaut, um eine Anweisung zu verstehen und den richtigen Knopf zu drücken — und genau das ist das meiste, was solche Geräte wirklich brauchen. Apache 2.0 heißt, jeder darf es ausliefern. Die interessante Folge sind nicht klügere Geräte, sondern Geräte, die weiterarbeiten und schweigen, wenn das Internet weg ist.

#KI-Agenten

✓ Verifiziert · 3 Quellen

In der App lesen — kostenlos, 9 Sprachen

45 Millionen Parameter, 14 Megabyte — und es ruft trotzdem Werkzeuge auf: das Modell für den Mikrocontroller

Verwandte Meldungen