Shoehorn

預設的量化檔位不了解你面前這台機器。挑一個裝得下的，等於白丟幾百 MB 的品質餘裕；挑高一階，往往到載入時才發現塞不進去。shoehorn 從你真正擁有的記憶體出發，先扣掉推論本身要占的部分，再針對剩下的額度求解逐張量的混合精度配置。依專案自己的說法，結果能貼到預算的捨入誤差之內，有時精確到位元組：519.2 MiB 的額度用掉 519.2 MiB，只剩 13 KB。安裝走 Homebrew tap，支援 Apple Silicon 的 Mac，以及配 NVIDIA 或 AMD 顯示卡的 x86-64 Linux。網站上還有一個挑選頁，會在 Hugging Face 下載量最高的模型裡找出符合你預算的，依這份記憶體能換到的品質排序，整個過程都在瀏覽器裡完成。