Switchyard

Claude CodeやCodexをオープンソースモデルに向けても、エージェントは自分のAPIで話そうとします。Switchyardはその間にRust製プロキシとして入り、OpenAI Chat、Anthropic Messages、OpenAI Responsesの各形式を相互に変換します。リクエストはvLLM、NVIDIA NIM、OllamaなどOpenAI互換のエンドポイントが処理し、クライアント側は切り替わったことに気づきません。

同じプロキシで複数モデルにトラフィックを分けてA/Bベンチマークを取ったり、シグナル駆動の段階ルーティングを掛けたり、型付きインターフェースに自作アルゴリズムを差し込んだりできます。Prometheusのメトリクスは、リクエスト、エラー、レイテンシ、トークンに加えてルーティング自体のオーバーヘッドまで出します。NVIDIA NeMo発のApache-2.0プロジェクトで、バイナリとしてもライブラリとしても使えます。READMEには、まだ成熟の途上だと自ら書かれています。