- 語言
- 英語
- 發布於
- 6天前
- 複刻
- 9
JustVugg/lumabri ↗· C· Apache-2.0· 最近提交 1天前
lumabri 藉由 colibri 引擎,從對等節點組成的蜂群中執行巨型 MoE(專家混合)模型,純 C 實作、零外部相依。它不預先下載模型,推理真正用到的位元組才在首次使用時從節點取回並存入本機鏡像,每 MiB 都經 sha256 驗證。被路由到的專家在持有其權重的節點上執行,本機只保留稠密權重、路由器與 KV 快取。專案以 CPU 與 SSD 為優先設計,無論有無 GPU 輸出都逐位元組一致,採 Apache-2.0 授權。