Needle

Needle 2 는 도구 호출과 기기 조작, 구조화 추출을 겨냥한 4천5백만 파라미터 공개 모델입니다. 모델 전체가 14MB 바이너리 하나이고 한 세션이 램 28MB 남짓에서 돌아갑니다. 가중치가 엔진에 박혀 있어 따로 관리할 모델 파일이 없고 추론 중 네트워크를 쓰지 않습니다.

입력은 텍스트, 출력은 JSON 입니다. 도구 스키마에서 컴파일한 바이트 단위 문법이 토큰마다 형식을 강제하고, 응답에는 보정된 신뢰도 값이 함께 붙습니다. 제작진은 자체 Simple Attention Network 연구를 바탕으로 Cactus Quants 로 CQ2 비트까지 압축했다고 밝히며, 자체 벤치마크에서 FunctionGemma 270M·LFM2.5 230M·Apple FM 과 승패를 주고받는 수준을 5~70배 작은 크기로 낸다고 적었습니다. 이 저장소는 추론·LoRA 파인튜닝·내보내기를 담은 파이썬 패키지이며 pip install cactus-needle 로 받습니다.