Swiftlet、800億パラメータモデルを4.3GBのRAMに——350億モデルはiPhoneに
Swiftletという新しいオープンソースのSwift/Metalランタイムは、MoE(専門家混合)の重みをディスクからオンデマンドでストリーミングする。アテンション層、ルーター、よく使う'エキスパート'のキャッシュだけをメモリに置き、残りはストレージから取り出す仕組みだ。その結果、Qwen3-Next-80BがM5 Mac上で約4.3GBのRAMを使い毎秒4.5〜5トークンで動作し、350億パラメータのモデルはiPhone 17で毎秒約1トークンで動く。代償もある。大型モデルには42GBの空きディスクが必要で、作者は、この種のスパースなモデルは'会話は大型モデル並みだが、事実の想起は小型モデル並み'と注意する。プロジェクトは1日でHacker Newsの首位に立ち、GitHubのスターは280を超えた。
なぜ重要か大型モデルが消費者向けデバイスで動かなかった理由は、チップではなくメモリの壁だった。エキスパート・ストリーミングが実用に耐えるなら、手持ちのハードウェアで、これまでGPUワークステーションが必要だったクラスのモデルが動く。プライバシー、オフライン利用、そしてAPI代を払えない人々にとって大きな意味を持つ。
アプリで読む——無料・9言語
関連ニュース
アップル・ミュージックは機械が作った曲を知らせる——ただし、そう申告するかは投稿者しだい2026-08-21Stripeがモデルルーターに75億ドルを払った。その数日後、Rampは自前のものを作り、1月まで無料で配っている。
2026-08-21Metaのアシスタントは画面を読み、どのウィンドウにも文字を打ち込むMacアプリになった。そして見たものはモデルの学習に使われうる
2026-08-21ニュースサイトでの1クリックが「この媒体をもっと見せて」とGoogleに伝えるようになった。しかも読んでいたページから離れずに
2026-08-21Adobeが音楽もナレーションもドアの閉まる音も生成する——しかも権利処理は済んでいるという
2026-08-21