跳到主要内容
抢先遇见新产品的地方
C

Cactus Compute

面向手机、可穿戴、智能家居与机器人的 14MB 智能体 LLM

AI13天前
分类
AI
语言
英语
发布于
13天前

Needle 2 是 45M 参数的开放模型,以单个 14MB 二进制文件发布,面向 200 美元以下的手机、可穿戴设备、智能家居硬件、小型机器人乃至单片机这类既没有 GPU 也没有 NPU 的环境。按开发方自己的测量,经 CQ2 位压缩后一次会话大约占用 28MB 内存。

它没有去追通用聊天,而是照着小设备真正要干的事训练:调用工具、执行设备动作、从杂乱文本里抽出结构化字段。官网放了一个用 WebAssembly 在浏览器里直接加载模型的试玩台,智能家居、机器人和表单填写这些例子不装任何东西就能点开。官方公布在树莓派 5 和 200 美元以下手机上取得每秒数百 token 的解码速度,权重以 Apache 2.0 发布在 Hugging Face。

喜欢这个产品吗?