llmfit

想知道這台機器跑得動哪些開源語言模型，llmfit 在終端機裡就能回答。它會偵測 CPU 核心、系統記憶體、獨立或內建 GPU、VRAM 與統一記憶體架構，再依 GGUF、AWQ、GPTQ、EXL2 等量化格式，替每個模型評出品質、速度、適配度與上下文四項分數。預設是互動式 TUI，另附傳統 CLI、網頁儀表板與 REST API，也認得多 GPU 與 MoE 架構。基準測試功能會下載模型、實測每秒 token 數，並讓你直接從 TUI 送出 PR 回報數據，硬體相同的人之後看到的就是實測值。以 Rust 撰寫，可用 Homebrew、Scoop、MacPorts、uv、Docker 映像或簽章過的執行檔安裝。