Needle

Needle 2是一个面向工具调用、设备操作和结构化抽取的4500万参数开放模型。整个模型就是一个14MB的二进制，一次会话大约占28MB内存。权重被烧进引擎，没有另外需要管理的模型文件，推理过程也不联网。

输入是文本，输出是JSON。由工具schema编译出的字节级语法对每个token强制格式，回复还会附带一个经过校准的置信度。作者说它基于自研的Simple Attention Network成果，用Cactus Quants压到CQ2位；在他们自己的基准上，体积小5到70倍的情况下与FunctionGemma 270M、LFM2.5 230M和Apple FM互有胜负。这个仓库是包含推理、LoRA微调和导出的Python包，用pip install cactus-needle装。