- 语言
- 英语
- 发布于
- 1天前
- 复刻
- 1,823
antirez/ds4 ↗ · C · MIT · 最近提交 1天前
DwarfStar(ds4)是一个小巧的原生推理引擎,首要目标是 DeepSeek V4 Flash,同时支持 GLM 5.2,在超大内存的机器上还能跑 DeepSeek V4 PRO。它不是通用的 GGUF 运行器,而是刻意收窄的自包含引擎:模型加载、提示渲染、工具调用、KV 状态、HTTP 服务器和编码代理一起构建、一起测试。主后端是 Metal,面向 96GB 以上内存的 Mac(更小的机器可用 SSD 流式加载),也支持 NVIDIA CUDA 和 AMD ROCm。仓库里还附带 GGUF 转换、imatrix 以及质量与速度测量工具。