在自己的电脑上运行 LLM

安装过程

1. 仅支持 macOS 15 以上的 Apple Silicon(M1 起)。不支持 Intel Mac、Windows、Linux。
2. 下载 .dmg 拖进「应用程序」即可，应用内可自动更新。Homebrew：先 brew tap jundot/omlx，再 brew install jundot/omlx/omlx。
3. 源码安装在 Python 3.11 到 3.13 下执行 pip install -e .；要用 MCP 就加上 ".[mcp]"。
4. 只接受 MLX 格式的模型。可在管理界面直接搜索并下载 Hugging Face 上的 MLX 模型。

韩语可用性

README 写明管理界面支持包括韩语在内的 8 种语言。韩语输出质量取决于你加载的模型。示例中用的 Qwen3.5 系列在公开资料里把韩语列为主要语言之一，但无论哪个模型，都应先看模型卡的语言一栏再决定。

实际限制

• 仅支持 MLX，GGUF 文件无法使用。
• 内存上限默认为「系统内存减去 8GB」，超出后先卸载最久未用的模型。
• GLM-5.2、MiniMax M3 等新模型的自定义内核仅靠 pip install 无法构建，需要完整的 Xcode。
• 同时兼容 OpenAI 和 Anthropic 两种 API 格式。Apache 2.0。

安装过程

1. 一行 npm i -g @magnitudedev/cli 即可。README 没有写 Node.js 版本要求。
2. 可在 macOS、Linux、Windows(WSL)上运行，覆盖 Apple Silicon、NVIDIA、AMD GPU 和纯 CPU 设备。
3. 安装后会测量芯片、内存和带宽，列出能运行的模型和预估每秒 token 数，再下载并运行你选的模型。

韩语可用性

README 没有任何语言相关说明。它按速度、准确率、内存给模型排序，所以需要韩语的话，得从推荐列表里自己挑把韩语列入支持语言的模型(如 Qwen、Gemma 系列)。韩语界面也未能确认。

实际限制

• README 没有说明使用哪种推理后端(llama.cpp、MLX 等)。
• Windows 需通过 WSL。
• 可接入 Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi、Cline，一个都不用的话有自带的 harness。Apache 2.0。没有 token 费用、API 密钥和请求限额。

安装过程

1. 需要 macOS 26(Metal 4)和 Apple Silicon。验证基准机器是 8GB 的 M2 MacBook Air。
2. 只支持源码构建：在 Xcode 26、Swift 6.2 以上执行 swift build -c release，然后运行 .build/release/TurboFieldfareMac。
3. 点应用里的 Download 按钮会下载模型并重新打包成 .gturbo 格式：传输约 15GB，安装后约 14.3GB，图像包再加 1.1GB。
4. Mac 应用、CLI 和 OpenAI 兼容的 Chat Completions 服务器共用同一个模型文件夹。

韩语可用性

模型固定为 Gemma 4 26B-A4B 一个。Google 的模型卡写明用 140 多种语言预训练，但没有单独点名韩语。README 没有语言相关说明。

实际限制

• 内存至少 8GB；「约 2GB」指的是权重加 4K KV 缓存。磁盘需留出 15GB 以上。
• README 给出的速度：8GB M2 MacBook Air 上 5.1 到 6.3 tok/s，24GB M5 Pro 上 31 到 35 tok/s。
• 支持文本，图像在 M2 以上可选，不支持音频和视频。M1 只能处理文本。
• 服务器仅限本机回环，没有鉴权和 TLS。Apache 2.0，模型权重遵循 Gemma 条款。

安装过程

1. 在仓库根目录选择 make(Metal)、make cuda-spark(DGX Spark)、make strix-halo(AMD Strix Halo)或 make cuda-generic(多 GPU CUDA)之一。
2. 模型通过 ./download_model.sh ds4f-q2 这类命令下载项目自制的 GGUF。它不是通用 GGUF 运行器，别处的 GGUF 用不了。
3. ds4-server 在 http://127.0.0.1:8000 提供服务，CLI 是交互式对话，ds4-agent 是带工具调用的编码代理。

韩语可用性

DeepSeek V4 Flash 的官方模型卡没有列出支持语言，只给了中文和英文基准(CMMLU、C-Eval 等)。它也支持 GLM 5.x、Qwen3.8，但这个工具的 README 没有语言相关说明。韩语质量应视为未确认。

实际限制

• Metal 的基准机器是 96GB 以上的 Mac，更小的机器用 SSD 流式加载。即使 128GB 机器，跑完整的 GLM 5.x 也需要 SSD 流式加载。
• DeepSeek V4 Flash 总参数 284B、激活 13B。Qwen3.8 Flash Next 的 Q2 版主权重 41.73GiB，外加 95.37GiB 的 n-gram。
• README 自称测试版质量，含图像的会话目前还不能保存。
• MIT 许可证；DeepSeek V4 Flash 模型也是 MIT。

安装过程

1. 执行 pip install airllm。要用 4 位、8 位压缩，再执行 pip install -U bitsandbytes。
2. 在 Mac 上需要同时安装 mlx 和 torch，且只支持 Apple Silicon。
3. 部分模型需要特定的 transformers 构建(例如 Qwen3.8-Flash-Next 需要 git 最新版)。下载受限模型需要 Hugging Face 令牌。

韩语可用性

支持 Llama、Qwen、DeepSeek、Mistral、Gemma、ChatGLM、Baichuan、Yi 等多种模型系列。README 点名介绍了好几个中文模型，但完全没提韩语。需要韩语的话，得先在目标模型的模型卡里确认支持情况再选。它是一个库，没有界面。

实际限制

• 一次只把一层放到 GPU 上，其余从磁盘流式加载，所以慢。README 只说压缩后快 3 倍，没有给出绝对速度。
• 模型按层拆分存储，非常占磁盘；空间不足会以 MetadataIncompleteBuffer 错误中止。
• 部分模型没有填充 token，需要手动设置；Kimi K3 必须使用 CUDA 12。
• CPU 推理只有一句话提及，没有细节。Apache-2.0。