slotstream

Qwen3.8-Flash-Next の 3.8 GB のトランクだけをメモリに常駐させ、残りのエキスパートは SSD からスロット単位で流し込みます。スロット数をその機体の実メモリに合わせるので、105 GB のモデルが 48 GB の MacBook Pro 上で毎秒 12 トークン前後で動き、起動は 2 秒ほどです。Python を使わず Swift のバイナリ一つで配布され、Ollama と OpenAI のチャット API をそのまま受けるため、手元の道具を書き換える必要がありません。Apple Silicon と macOS 14 以降、空きディスク 110 GB が要ります。MIT ライセンスです。