Swiftlet、800億パラメータモデルを4.3GBのRAMに——350億モデルはiPhoneに
Swiftletという新しいオープンソースのSwift/Metalランタイムは、MoE(専門家混合)の重みをディスクからオンデマンドでストリーミングする。アテンション層、ルーター、よく使う'エキスパート'のキャッシュだけをメモリに置き、残りはストレージから取り出す仕組みだ。その結果、Qwen3-Next-80BがM5 Mac上で約4.3GBのRAMを使い毎秒4.5〜5トークンで動作し、350億パラメータのモデルはiPhone 17で毎秒約1トークンで動く。代償もある。大型モデルには42GBの空きディスクが必要で、作者は、この種のスパースなモデルは'会話は大型モデル並みだが、事実の想起は小型モデル並み'と注意する。プロジェクトは1日でHacker Newsの首位に立ち、GitHubのスターは280を超えた。
なぜ重要か大型モデルが消費者向けデバイスで動かなかった理由は、チップではなくメモリの壁だった。エキスパート・ストリーミングが実用に耐えるなら、手持ちのハードウェアで、これまでGPUワークステーションが必要だったクラスのモデルが動く。プライバシー、オフライン利用、そしてAPI代を払えない人々にとって大きな意味を持つ。
アプリで読む——無料・9言語
関連ニュース
TikTokが見ている動画の中に買い物ボットを入れました。2026-10-06メタの助手はあなたの周りの全員を一時間ごとに記録しています。
2026-10-05一つのコマンドで、アップルが消した停止スイッチが戻る
2026-10-05OpenAIが28日間、毎日の新機能か上限リセットを約束した
2026-10-05メタがMuseの機器を自作できるよう、ファームを公開した。
2026-10-04