Needle

Needle 2は、ツール呼び出し、デバイス操作、構造化抽出を狙った4500万パラメータの公開モデルです。モデル全体が14MBのバイナリ1つで、1セッションがメモリ28MB程度で動きます。重みはエンジンに焼き込まれているため管理する別ファイルがなく、推論中にネットワークを使いません。

入力はテキスト、出力はJSONです。ツールのスキーマからコンパイルされたバイト単位の文法がトークンごとに形式を強制し、応答には較正済みの信頼度が添えられます。開発陣は自社のSimple Attention Networkの知見を基にCactus QuantsでCQ2ビットまで圧縮したと述べ、自社ベンチマークではFunctionGemma 270M、LFM2.5 230M、Apple FMと勝敗を分ける水準を5〜70倍小さいサイズで出すとしています。このリポジトリは推論、LoRAファインチューニング、エクスポートを含むPythonパッケージで、pip install cactus-needleで入ります。