跳到主要内容

Ds4

面向 Metal、CUDA 与 ROCm 的 DeepSeek 4 Flash 与 PRO 本地推理引擎。

AI 1天前
分类
AI
网站
github.com
语言
英语
发布于
1天前
复刻
1,823

antirez/ds4 ↗ · C · MIT · 最近提交 1天前

DwarfStar(ds4)是一个小巧的原生推理引擎,首要目标是 DeepSeek V4 Flash,同时支持 GLM 5.2,在超大内存的机器上还能跑 DeepSeek V4 PRO。它不是通用的 GGUF 运行器,而是刻意收窄的自包含引擎:模型加载、提示渲染、工具调用、KV 状态、HTTP 服务器和编码代理一起构建、一起测试。主后端是 Metal,面向 96GB 以上内存的 Mac(更小的机器可用 SSD 流式加载),也支持 NVIDIA CUDA 和 AMD ROCm。仓库里还附带 GGUF 转换、imatrix 以及质量与速度测量工具。

喜欢这个产品吗?