跳到主要內容
搶先遇見新產品的地方

Switchyard

在OpenAI與Anthropic API之間互譯並分流的Rust代理

AI10天前
分類
AI
語言
英語
發布於
10天前
星標
2,331
複刻
196

NVIDIA-NeMo/Switchyard ↗· Rust· Apache-2.0· 最近提交 12小時前

把Claude Code或Codex指向開源模型,代理程式照樣想用自己那套API說話。Switchyard以Rust代理的身分夾在中間,在OpenAI Chat、Anthropic Messages和OpenAI Responses之間互相翻譯,請求則交給vLLM、NVIDIA NIM、Ollama等任意OpenAI相容端點,用戶端察覺不到換過。

同一個代理還能把流量分到多個模型上做A/B基準,掛上訊號驅動的分階段路由,或者在帶型別的介面上塞進自己寫的演算法。Prometheus指標除了請求、錯誤、延遲和token,還包括路由本身的開銷。專案出自NVIDIA NeMo,採用Apache-2.0,既能當執行檔跑也能當函式庫用。README裡明說它仍在走向成熟。

喜歡這個產品嗎?