Shoehorn

既製の量子化プリセットは、目の前のマシンの事情を知りません。収まる方を選べば数百メガバイト分の品質を捨てることになり、一段上を選べばロード時になって入らないと分かります。shoehorn は実際に持っているメモリから出発し、推論そのものが必要とする分を差し引き、残りに合わせてテンソルごとの混合精度の割り当てを解きます。プロジェクトの説明では、予算に対して丸め誤差の範囲まで詰められ、ときにはバイト単位で一致するとされています。519.2 MiB の枠に 519.2 MiB、余りは 13 KB といった具合です。導入は Homebrew の tap から。Apple Silicon の Mac と、NVIDIA か AMD を積んだ x86-64 の Linux で動きます。サイトには Hugging Face でダウンロード数の多いモデルのうち、指定した予算に収まるものを品質順に並べる画面もあり、こちらはすべてブラウザ内で完結します。