跳到主要內容
搶先遇見新產品的地方
C

Cactus Compute

給手機、穿戴裝置、智慧家庭與機器人的 14MB 代理式 LLM。

AI13天前
分類
AI
語言
英語
發布於
13天前

Needle 2 是 45M 參數的開放模型,以單一 14MB 二進位檔發布。目標環境是 200 美元以下的手機、穿戴裝置、智慧家庭硬體、小型機器人乃至微控制器這類既無 GPU 也無 NPU 的地方。依開發方自己的量測,經 CQ2 位元壓縮後一次工作階段約佔 28MB 記憶體。

它沒有去追通用聊天,而是照著小裝置真正要做的事訓練:呼叫工具、驅動裝置動作、從雜亂文字裡抽出結構化欄位。官網放了一個用 WebAssembly 在瀏覽器裡直接載入模型的試玩區,智慧家庭、機器人和表單填寫這些範例不裝任何東西就能點開。專案公布的解碼速度,是在 Raspberry Pi 5 與 200 美元以下的手機上每秒數百 token。權重以 Apache 2.0 發布在 Hugging Face。

喜歡這個產品嗎?