Omlx

oMLX 在 Apple Silicon 的 Mac 上直接跑模型，透過相容 OpenAI 的介面對外提供服務，而整套伺服器常駐在 macOS 選單列而非終端機視窗。連續批次處理讓多個請求共用同一台機器，KV 快取分成記憶體與固態硬碟兩層，對話中途換了上下文，先前的快取仍能沿用。常用模型可以釘在記憶體裡，較重的模型按需求換入，每個模型也能各自設定上下文上限。安裝方式有內建更新的 .dmg、Homebrew 與原始碼建置三種，需要 macOS 15 以上與 Python 3.11 到 3.13。程式碼採 Apache 2.0，MCP 支援與新機型專用核心則要另外裝。