4500万パラメータ、14メガバイト、それでもツールを呼べる——マイコンで動くモデル
Cactusは8月10日にNeedle 2を公開した。4500万パラメータの言語モデルで、ツール呼び出し、デバイス操作、テキストからの構造化データ抽出といったエージェント業務のために設計されている。14 MBのバイナリとして配布され、セッション全体を約28 MBのRAMで動かす。要点は、量子化を後付けではなく学習の最初から適用していることだ。Cactusは重み、活性値、KVキャッシュをすべて2ビットで学習させるため、配布されるモデルは学習されたモデルそのものであり、この規模で事後的な2ビット圧縮が引き起こす品質の崩壊を回避している。Raspberry Pi 5では毎秒500トークンを超えるデコード、プリフィルは800超。VRヘッドセットで400〜1,500、200ドル未満のAndroid端末で300〜700で動く。ESP32-S3マイコン、Meta Quest 3S、Apple Vision Proでも動作する。公開されている5つのツール呼び出しベンチマークでは、フル精度で動く5〜70倍大きいモデルと勝ったり負けたりしている。Mobile Actionsで63.7%、Liquid AIのLFM2.5 230Mが69.1%、FunctionGemma 270Mが64.0%。重みはApache 2.0でHugging FaceとGitHubに公開されている。
なぜ重要かいまインターホンや車、イヤホンに入っている音声アシスタントのほとんどは、他社のデータセンターにつながる薄いクライアントにすぎない。だから電波が切れると動かなくなり、やり取りのたびにメーカーに費用が発生し、話した内容がサーバーを通る。この大きさのモデルはその計算を変える。14 MBなら数ドルのハードウェアのフラッシュメモリに収まるからだ。Needle 2は賢くないし、会話もできない。命令を理解して正しいボタンを押すためにつくられている——そしてそれこそが、この種の機器が実際に必要とするものの大半である。Apache 2.0は誰でも製品に載せられることを意味する。面白い帰結は賢い機器ではなく、インターネットが切れても動き続け、そして黙っていられる機器のほうだ。
アプリで読む——無料・9言語
関連ニュース
Mistralが1兆パラメータのモデルを今月無料で配る。2026-10-06同じ仕事を二十回やらせると最高の人工知能の点が三分の一落ちた。
2026-10-06TikTokが見ている動画の中に買い物ボットを入れました。
2026-10-06Reflectionが5010億パラメータのモデルを無料で配ります。
2026-10-06ウィキメディアがOpenAIのエージェントを5月の障害で疑っています。
2026-10-06