跳到主要內容
搶先遇見新產品的地方

lumabri

以 colibri 引擎在對等蜂群上執行巨型 MoE 模型

其他6天前
分類
其他
語言
英語
發布於
6天前
星標
122
複刻
9

JustVugg/lumabri ↗· C· Apache-2.0· 最近提交 1天前

lumabri 藉由 colibri 引擎,從對等節點組成的蜂群中執行巨型 MoE(專家混合)模型,純 C 實作、零外部相依。它不預先下載模型,推理真正用到的位元組才在首次使用時從節點取回並存入本機鏡像,每 MiB 都經 sha256 驗證。被路由到的專家在持有其權重的節點上執行,本機只保留稠密權重、路由器與 KV 快取。專案以 CPU 與 SSD 為優先設計,無論有無 GPU 輸出都逐位元組一致,採 Apache-2.0 授權。

喜歡這個產品嗎?