Omlx

oMLXはApple SiliconのMacでモデルを動かし、OpenAI互換APIで受け渡す推論サーバーですが、置き場所はターミナルではなくmacOSのメニューバーです。連続バッチ処理で複数のリクエストが一台を分け合い、KVキャッシュをメモリとSSDの二層に置くため、会話の途中で文脈が変わっても前の分を使い回せます。よく使うモデルはメモリに常駐させ、重いモデルは必要なときだけ入れ替え、モデルごとに文脈長の上限も決められます。導入はアプリ内更新付きの.dmg、Homebrew、ソースからの三通りで、macOS 15以降とPython 3.11から3.13が要ります。コードはApache 2.0で、MCP対応と新しいモデル向けの独自カーネルは別途入れます。