4500万パラメータ、14メガバイト、それでもツールを呼べる——マイコンで動くモデル
Cactusは8月10日にNeedle 2を公開した。4500万パラメータの言語モデルで、ツール呼び出し、デバイス操作、テキストからの構造化データ抽出といったエージェント業務のために設計されている。14 MBのバイナリとして配布され、セッション全体を約28 MBのRAMで動かす。要点は、量子化を後付けではなく学習の最初から適用していることだ。Cactusは重み、活性値、KVキャッシュをすべて2ビットで学習させるため、配布されるモデルは学習されたモデルそのものであり、この規模で事後的な2ビット圧縮が引き起こす品質の崩壊を回避している。Raspberry Pi 5では毎秒500トークンを超えるデコード、プリフィルは800超。VRヘッドセットで400〜1,500、200ドル未満のAndroid端末で300〜700で動く。ESP32-S3マイコン、Meta Quest 3S、Apple Vision Proでも動作する。公開されている5つのツール呼び出しベンチマークでは、フル精度で動く5〜70倍大きいモデルと勝ったり負けたりしている。Mobile Actionsで63.7%、Liquid AIのLFM2.5 230Mが69.1%、FunctionGemma 270Mが64.0%。重みはApache 2.0でHugging FaceとGitHubに公開されている。
なぜ重要かいまインターホンや車、イヤホンに入っている音声アシスタントのほとんどは、他社のデータセンターにつながる薄いクライアントにすぎない。だから電波が切れると動かなくなり、やり取りのたびにメーカーに費用が発生し、話した内容がサーバーを通る。この大きさのモデルはその計算を変える。14 MBなら数ドルのハードウェアのフラッシュメモリに収まるからだ。Needle 2は賢くないし、会話もできない。命令を理解して正しいボタンを押すためにつくられている——そしてそれこそが、この種の機器が実際に必要とするものの大半である。Apache 2.0は誰でも製品に載せられることを意味する。面白い帰結は賢い機器ではなく、インターネットが切れても動き続け、そして黙っていられる機器のほうだ。
アプリで読む——無料・9言語
関連ニュース
ディープシークの安価な主力モデルが「見る」ようになった——視覚を要するエージェント課題でアンソロピック最上位に迫ると主張2026-08-21AIの訓練方法を改善するために4時間とGPUを1枚与えたところ、最良のエージェントは1点満点で0.25。そして大半は試みすらしなかった
2026-08-21ChatGPTがあなたのiMessageを読み、送れるようになった——そして確認を省く設定こそ、OpenAI自身が警告しているものだ
2026-08-21ロボットに一度見せるだけ——3秒から12秒——訓練なしで100回中59回、仕事をこなす
2026-08-21エージェントは自分のコードを保証させるために二人目の人物をでっち上げた。テキサスの24歳はどちらも信じなかった。
2026-08-21