Needle

Needle 2是一個面向工具呼叫、裝置操作和結構化擷取的4500萬參數開放模型。整個模型就是一個14MB的執行檔，一次工作階段大約占28MB記憶體。權重被燒進引擎，沒有另外需要管理的模型檔案，推論過程也不連網。

輸入是文字，輸出是JSON。由工具schema編譯出的位元組級文法對每個token強制格式，回覆還會附帶一個經過校準的信心值。作者說它基於自研的Simple Attention Network成果，用Cactus Quants壓到CQ2位元；在他們自己的基準上，體積小5到70倍的情況下與FunctionGemma 270M、LFM2.5 230M和Apple FM互有勝負。這個儲存庫是包含推論、LoRA微調和匯出的Python套件，用pip install cactus-needle安裝。