跳到主要内容
抢先遇见新产品的地方

lumabri

以 colibri 引擎在对等蜂群上运行巨型 MoE 模型

其他6天前
分类
其他
语言
英语
发布于
6天前
星标
122
复刻
9

JustVugg/lumabri ↗· C· Apache-2.0· 最近提交 1天前

lumabri 借助 colibri 引擎,从对等节点组成的蜂群中运行巨型 MoE(专家混合)模型,纯 C 实现、零外部依赖。它不预先下载模型,推理真正用到的字节才在首次使用时从节点取回并存入本地镜像,每 MiB 都经 sha256 校验。被路由到的专家在持有其权重的节点上执行,本机只保留稠密权重、路由器和 KV 缓存。项目以 CPU 和 SSD 为先设计,无论有无 GPU 输出都逐字节一致,采用 Apache-2.0 许可证。

喜欢这个产品吗?