自分のパソコンで LLM を動かす

インストール手順

1. macOS 15 以上、Apple Silicon(M1 以降)のみ。Intel Mac、Windows、Linux は非対応です。
2. .dmg を取得してアプリケーションフォルダにドラッグすれば終わりで、アプリ内で更新できます。Homebrew なら brew tap jundot/omlx のあと brew install jundot/omlx/omlx。
3. ソースからは Python 3.11〜3.13 で pip install -e .、MCP を使うなら ".[mcp]" を付けます。
4. モデルは MLX 形式のみ。管理画面から Hugging Face の MLX モデルを検索してそのままダウンロードできます。

韓国語での使い勝手

README には管理画面 UI が韓国語を含む 8 言語に対応すると書かれています。韓国語の出力品質は載せるモデル次第です。例に挙がる Qwen3.5 系は公開資料で韓国語を主要言語に含めていますが、どのモデルでもカードの言語欄を先に確認してから選ぶのが無難です。

実際の制約

• MLX 専用で、GGUF ファイルは使えません。
• メモリ上限の既定値は「システム RAM から 8GB を引いた値」で、超えると長く使っていないモデルから降ろします。
• GLM-5.2 や MiniMax M3 など新しいモデル向けのカスタムカーネルは pip install だけでは作られず、フル版の Xcode が必要です。
• OpenAI と Anthropic の両方の API 形式を模倣します。Apache 2.0。

インストール手順

1. npm i -g @magnitudedev/cli の 1 行で済みます。README に Node.js のバージョン要件はありません。
2. macOS、Linux、Windows(WSL)で動き、Apple Silicon、NVIDIA、AMD GPU、CPU のみの機器をすべて対象にしています。
3. インストール後にチップ、メモリ、帯域を測り、動かせるモデルと予想の毎秒トークン数を示し、選んだモデルをダウンロードして起動します。

韓国語での使い勝手

README に言語に関する説明はありません。速度、精度、メモリでモデルを並べる道具なので、韓国語が要るなら候補の中から韓国語を対応言語に含むモデル(Qwen、Gemma 系など)を自分で選ぶ必要があります。韓国語 UI も確認できませんでした。

実際の制約

• どの推論バックエンド(llama.cpp、MLX など)を使うのか README は明かしていません。
• Windows は WSL 経由です。
• Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi、Cline につなげられ、どれも使っていなければ内蔵ハーネスがあります。Apache 2.0。トークン料金、API キー、リクエスト上限はありません。

インストール手順

1. macOS 26(Metal 4)と Apple Silicon が必要です。検証基準の機器は 8GB の M2 MacBook Air です。
2. ソースビルドのみ。Xcode 26、Swift 6.2 以上で swift build -c release を実行し、.build/release/TurboFieldfareMac を起動します。
3. アプリの Download ボタンでモデルを取得し .gturbo 形式に詰め直します。転送量は約 15GB、インストール後は約 14.3GB で、画像パックはさらに 1.1GB 必要です。
4. Mac アプリ、CLI、OpenAI 互換の Chat Completions サーバーが同じモデルフォルダを共有します。

韓国語での使い勝手

モデルは Gemma 4 26B-A4B の 1 つに固定です。Google のモデルカードは 140 以上の言語で事前学習したと書いていますが、韓国語を個別には挙げていません。README に言語の説明はありません。

実際の制約

• RAM は最低 8GB。「約 2GB」は重みと 4K の KV キャッシュ基準です。ストレージは 15GB 以上空けておく必要があります。
• README が示す速度は、8GB M2 MacBook Air で 5.1〜6.3 tok/s、24GB M5 Pro で 31〜35 tok/s です。
• テキストに対応し、画像は M2 以降で任意。音声と動画は非対応です。M1 はテキストのみ。
• サーバーはループバック専用で、認証も TLS もありません。Apache 2.0、モデルの重みは Gemma の規約に従います。

インストール手順

1. リポジトリのルートで make(Metal)、make cuda-spark(DGX Spark)、make strix-halo(AMD Strix Halo)、make cuda-generic(CUDA マルチ GPU)のいずれかを選びます。
2. モデルは ./download_model.sh ds4f-q2 のように、プロジェクトが自作した GGUF を取得します。汎用の GGUF ランナーではないため、他所の GGUF は使えません。
3. ds4-server は http://127.0.0.1:8000 でサーバーとして動き、CLI は対話型、ds4-agent はツール呼び出し付きのコーディングエージェントです。

韓国語での使い勝手

DeepSeek V4 Flash の公式カードは対応言語を明かさず、中国語と英語のベンチマーク(CMMLU、C-Eval など)だけを示しています。GLM 5.x、Qwen3.8 にも対応しますが、このツールの README に言語の説明はありません。韓国語の品質は未確認のままにしておくのが正しい扱いです。

実際の制約

• Metal の基準機は 96GB 以上の Mac で、それより小さければ SSD ストリーミングで動かします。128GB 機でも GLM 5.x のフルモデルには SSD ストリーミングが必要です。
• DeepSeek V4 Flash は総パラメータ 284B、アクティブ 13B。Qwen3.8 Flash Next の Q2 は主要重み 41.73GiB に n-gram 95.37GiB が付きます。
• README 自身がベータ品質だと明かしており、画像を含むセッションはまだ保存できません。
• MIT ライセンス。DeepSeek V4 Flash モデルも MIT です。

インストール手順

1. pip install airllm を実行します。4bit・8bit 圧縮を使うなら pip install -U bitsandbytes も追加します。
2. Mac では mlx と torch の両方が必要で、Apple Silicon のみ対応です。
3. 一部のモデルには特定の transformers ビルドが必要です(例: Qwen3.8-Flash-Next は git 最新版)。ゲート付きモデルの取得には Hugging Face のトークンが要ります。

韓国語での使い勝手

Llama、Qwen、DeepSeek、Mistral、Gemma、ChatGLM、Baichuan、Yi など幅広いモデル系列に対応します。README は中国語モデルをいくつも名指しで紹介しますが、韓国語には触れていません。韓国語が要るなら、使うモデルのカードで対応を確認してから選ぶ必要があります。ライブラリなので UI はありません。

実際の制約

• GPU には一度に 1 層しか載せず、残りはディスクから流し込む方式なので遅いです。README は圧縮で 3 倍速くなるとだけ書き、絶対速度は示していません。
• モデルを層ごとに分割保存するためディスクを多く使い、足りないと MetadataIncompleteBuffer エラーで止まります。
• 一部のモデルはパディングトークンがなく手動設定が必要で、Kimi K3 は CUDA 12 が必須です。
• CPU 推論は 1 行触れられているだけで詳細はありません。Apache-2.0。