Cactus Compute

Needle 2は45Mパラメータの公開モデルで、14MBのバイナリ1つとして配布されます。想定しているのは200ドル以下のスマートフォン、ウェアラブル、スマートホーム機器、小型ロボット、マイコンなど、GPUもNPUも積んでいないハードウェアです。CQ2ビット圧縮を経ると1セッションが約28MBのRAMに収まる、というのが開発側の計測値です。汎用チャットではなく、小さな機器が実際に担う仕事、つまりツール呼び出し、デバイス操作、雑然とした文章からの構造化抽出に的を絞って学習されています。公式サイトにはWebAssemblyでブラウザにモデルを読み込むプレイグラウンドがあり、スマートホームやロボット、フォーム入力の例をインストールなしで試せます。Raspberry Pi 5や200ドル以下のスマートフォンで毎秒数百トークンのデコード速度が出たと公表しており、重みはHugging FaceにApache 2.0で置かれています。