- 語言
- 英語
- 發布於
- 10天前
- 複刻
- 196
NVIDIA-NeMo/Switchyard ↗· Rust· Apache-2.0· 最近提交 12小時前
把Claude Code或Codex指向開源模型,代理程式照樣想用自己那套API說話。Switchyard以Rust代理的身分夾在中間,在OpenAI Chat、Anthropic Messages和OpenAI Responses之間互相翻譯,請求則交給vLLM、NVIDIA NIM、Ollama等任意OpenAI相容端點,用戶端察覺不到換過。
同一個代理還能把流量分到多個模型上做A/B基準,掛上訊號驅動的分階段路由,或者在帶型別的介面上塞進自己寫的演算法。Prometheus指標除了請求、錯誤、延遲和token,還包括路由本身的開銷。專案出自NVIDIA NeMo,採用Apache-2.0,既能當執行檔跑也能當函式庫用。README裡明說它仍在走向成熟。