Omlx

oMLX 在 Apple Silicon 的 Mac 上直接跑模型，通过兼容 OpenAI 的接口对外提供服务，而整个服务常驻在 macOS 菜单栏而非终端窗口。连续批处理让多个请求共用一台机器，KV 缓存分成内存与固态硬盘两层，对话中途上下文变化后，先前的缓存仍可复用。常用模型可以固定在内存里，重的模型按需换入，每个模型还能单独设定上下文上限。安装方式有带应用内更新的 .dmg、Homebrew 和源码构建三种，需要 macOS 15 以上以及 Python 3.11 至 3.13。代码采用 Apache 2.0，MCP 支持和面向新模型的定制内核需另行安装。