aiminute. ← AIニュース一覧
ツール AI Minute Newsroom 2026-08-04

Swiftlet、800億パラメータモデルを4.3GBのRAMに——350億モデルはiPhoneに

Swiftlet、800億パラメータモデルを4.3GBのRAMに——350億モデルはiPhoneに

Swiftletという新しいオープンソースのSwift/Metalランタイムは、MoE(専門家混合)の重みをディスクからオンデマンドでストリーミングする。アテンション層、ルーター、よく使う'エキスパート'のキャッシュだけをメモリに置き、残りはストレージから取り出す仕組みだ。その結果、Qwen3-Next-80BがM5 Mac上で約4.3GBのRAMを使い毎秒4.5〜5トークンで動作し、350億パラメータのモデルはiPhone 17で毎秒約1トークンで動く。代償もある。大型モデルには42GBの空きディスクが必要で、作者は、この種のスパースなモデルは'会話は大型モデル並みだが、事実の想起は小型モデル並み'と注意する。プロジェクトは1日でHacker Newsの首位に立ち、GitHubのスターは280を超えた。

なぜ重要か大型モデルが消費者向けデバイスで動かなかった理由は、チップではなくメモリの壁だった。エキスパート・ストリーミングが実用に耐えるなら、手持ちのハードウェアで、これまでGPUワークステーションが必要だったクラスのモデルが動く。プライバシー、オフライン利用、そしてAPI代を払えない人々にとって大きな意味を持つ。

✓ 検証済み · 2ソース

WhatsApp X Telegram
アプリで読む——無料・9言語

関連ニュース

研究者がMetaのAIエージェントMuseから会話を持ち出せたと報告した。
2026-11-22
ChatGPTの共有作業スペース「Space」がPlus利用者にも広がり始めた。
2026-11-21
Signalが端末のAIアシスタントによる会話の読み取りを遮断した
2026-11-20
OpenAIが最新の音声モデルを開発者に開放した
2026-11-20
GeminiがMacをあなたの代わりに操作できるようになった。
2026-11-20