Omlx

oMLX 는 애플 실리콘 맥에서 모델을 직접 띄우고 OpenAI 호환 API 로 넘겨주는 추론 서버인데, 터미널 창이 아니라 macOS 메뉴 막대에 상주합니다. 연속 배칭으로 여러 요청이 한 대를 나눠 쓰고, KV 캐시를 메모리와 SSD 두 층에 나눠 두어 대화 중간에 맥락이 바뀌어도 앞서 쌓인 캐시를 다시 씁니다. 자주 쓰는 모델은 메모리에 고정해 두고, 무거운 모델은 필요할 때만 교체되게 하고, 모델별로 컨텍스트 상한을 걸 수 있습니다. 설치는 앱 내 업데이트가 붙은 .dmg, Homebrew, 소스 빌드 중에 고르며 macOS 15 이상과 파이썬 3.11에서 3.13 이 필요합니다. 코드는 Apache 2.0 이고 MCP 지원과 최신 모델용 커스텀 커널은 따로 설치합니다.