본문 바로가기
새로 나온 제품을 먼저 만나는 곳
M

Maple-Preview

손에 있는 기기에서 도는 20B-A1B 삼진 가중치 추론 모델.

기타17일 전
카테고리
기타
웹사이트
deepgrove.ai
언어
영어
등록일
17일 전

파라미터 하나를 세 가지 값 중 하나로만 저장하는 삼진 가중치 방식의 오픈소스 20B-A1B 추론 모델입니다. 그만큼 부피가 줄어, GPU를 빌리는 대신 손에 있는 하드웨어에서 추론이 돌아갑니다. 전문가 혼합 라우팅이 걸려 있어 토큰당 실제로 깨어나는 파라미터는 10억 개 남짓이고, 전체 규모에 비하면 디코딩이 가볍습니다.

만든 곳은 독립 연구소 DeepGrove이고, 어떤 기기에서도 도는 프런티어 모델을 내걸었습니다. 삼진 커널과 자체 FlashHead를 얹어 16GB M4 맥 미니에서 초당 218토큰을 냈다는 것이 연구소 쪽 수치이며, 해커뉴스에는 아이폰에서 초당 120토큰이라는 제목으로 올라왔습니다. 공개일은 2026년 8월 4일입니다.

이 제품이 마음에 드세요?