llmfit

llmfit 会读取 CPU 核心数、系统内存、独立或集成 GPU、显存以及统一内存架构，然后按 GGUF、AWQ、GPTQ、EXL2 等量化格式给每个开源大模型打分，维度包括质量、速度、适配度和上下文长度。默认界面是交互式 TUI，也提供经典 CLI、网页面板和 REST API，支持多 GPU 与 MoE 架构。新增的基准测试功能可以下载模型、在本机实测每秒 token 数，并直接从 TUI 里把结果作为 PR 提交回项目，之后同样硬件的用户看到的就是实测数据而非估算。项目用 Rust 编写，可通过 Homebrew、Scoop、MacPorts、uv、Docker 镜像或带签名的发布包安装。