本文へスキップ
新しい製品に最初に出会う場所

lumabri

colibri エンジンで巨大 MoE モデルを動かす P2P スワーム

その他6日前
カテゴリー
その他
ウェブサイト
github.com
言語
英語
登録日
6日前
スター
122
フォーク
9

JustVugg/lumabri ↗· C· Apache-2.0· 最終コミット 1日前

lumabri は colibri エンジンを使い、巨大な MoE(専門家混合)モデルをピアのスワームから動かす純 C 実装で、外部依存はありません。モデルを事前にダウンロードせず、推論が実際に触れるバイトだけを初回利用時にピアから取得してローカルミラーに蓄え、各 MiB を sha256 で検証します。ルーティングされた専門家は重みを持つピア側で実行され、手元のマシンには dense 重み・ルーター・KV キャッシュだけが残ります。CPU と SSD を第一に設計され、GPU の有無にかかわらずバイト単位で同一の出力を返し、ライセンスは Apache-2.0 です。

この製品が気に入りましたか?