llmfit

llmfit は、CPU コア数、システム RAM、GPU と VRAM、ユニファイドメモリの構成を読み取り、その環境で快適に動くオープンな LLM を端末上で示すツールです。GGUF、AWQ、GPTQ、EXL2 などの量子化形式ごとに、品質、速度、適合度、コンテキストの4軸でモデルを採点します。既定は対話型 TUI で、従来型の CLI、Web ダッシュボード、REST API も同梱され、複数 GPU や MoE 構成にも対応しています。ベンチマーク機能を使うと、モデルを落として実際の tok/s を計測し、その結果を TUI から直接プルリクエストとして送れます。同じ構成の利用者には推定値ではなく実測値が届く仕組みです。Rust 製で、Homebrew、Scoop、MacPorts、uv、Docker イメージ、署名済みバイナリのいずれからでも導入できます。