Shoehorn

프리셋 양자화는 눈앞의 기계 사정을 모릅니다. 들어가는 쪽을 고르면 수백 메가바이트어치 품질을 그냥 버리고, 한 단계 위를 고르면 로드하는 순간 안 들어간다는 걸 알게 됩니다. shoehorn은 실제로 가진 메모리에서 출발해 추론 자체가 먹는 몫을 빼고, 남은 양에 맞춰 텐서별 혼합 정밀도 배분을 풉니다. 프로젝트 설명에 따르면 예산에 반올림 오차 수준까지 붙고 때로는 바이트 단위로 맞습니다. 519.2 MiB 예산에 519.2 MiB, 여유 13 KB 같은 식입니다.설치는 Homebrew 탭으로 하고 애플 실리콘 맥과 NVIDIA·AMD를 단 x86-64 리눅스에서 돌아갑니다. 사이트에는 허깅페이스에서 가장 많이 내려받은 모델 중 내 예산에 들어가는 것을 골라 품질순으로 세워 주는 화면도 있는데, 브라우저 안에서만 돌아갑니다.