본문 바로가기
새로 나온 제품을 먼저 만나는 곳

lumabri

colibri 엔진으로 거대 MoE 모델을 돌리는 P2P 스웜

기타6일 전
카테고리
기타
웹사이트
github.com
언어
영어
등록일
6일 전
스타
122
포크
9

JustVugg/lumabri ↗· C· Apache-2.0· 최근 커밋 1일 전

lumabri 는 colibri 엔진을 써서 거대 MoE(전문가 혼합) 모델을 피어 스웜에서 돌리는 순수 C 프로젝트로, 외부 의존성이 없습니다. 모델을 미리 내려받지 않고 추론이 실제로 건드리는 바이트만 첫 사용 시 피어에게서 받아 로컬 미러에 쌓으며, 모든 MiB 를 sha256 으로 검증합니다. 라우팅된 전문가는 가중치를 가진 피어에서 실행되고, 내 장비에는 dense 가중치·라우터·KV 캐시만 남습니다. CPU 와 SSD 우선으로 설계돼 GPU 유무와 무관하게 바이트 단위로 동일한 출력을 내며, 라이선스는 Apache-2.0입니다.

이 제품이 마음에 드세요?