llmfit

llmfit은 이 컴퓨터에서 어떤 오픈 언어 모델이 제대로 돌아갈지 터미널에서 알려 줍니다. CPU 코어, 시스템 RAM, 외장이나 내장 GPU, VRAM, 통합 메모리 구성을 읽어 들인 뒤 GGUF, AWQ, GPTQ, EXL2 같은 양자화 형식별로 모델마다 품질, 속도, 적합도, 컨텍스트 점수를 매깁니다. 기본은 대화형 TUI이고 CLI 모드와 웹 대시보드, REST API도 함께 들어 있습니다. 최근 추가된 벤치마크 기능은 모델을 내려받아 실제 초당 토큰 수를 재고, 그 수치를 TUI 안에서 바로 풀 리퀘스트로 보내도록 했습니다. 같은 하드웨어를 쓰는 사람은 추정치 대신 실측값을 보게 됩니다. Rust로 작성됐으며 Homebrew, Scoop, MacPorts, uv, Docker 이미지, 서명된 바이너리 중 편한 쪽으로 설치하면 됩니다.