Cactus Compute

Needle 2는 45M 파라미터 공개 모델이고, 배포 단위는 14MB 바이너리 하나입니다. 대상은 200달러 이하 휴대폰과 웨어러블, 스마트홈 기기, 소형 로봇, 마이크로컨트롤러처럼 GPU도 NPU도 없는 하드웨어입니다. CQ2 비트 압축을 거치면 세션 하나가 램 28MB 안팎에서 돈다는 것이 만든 쪽이 잰 값입니다.

일반 대화를 좇는 대신 작은 기기가 실제로 하는 일, 그러니까 도구 호출과 기기 조작, 지저분한 문장에서 구조화된 값을 뽑아내는 쪽으로 학습됐습니다. 공식 사이트의 놀이터는 웹어셈블리로 모델을 브라우저에 바로 띄워, 스마트홈과 로봇, 양식 채우기 예제가 설치 없이 그 자리에서 돌아갑니다. 라즈베리파이 5와 200달러 이하 휴대폰에서 초당 수백 토큰의 디코딩 속도가 나왔다고 밝혔고, 가중치는 허깅페이스에 Apache 2.0으로 올라와 있습니다.