- 语言
- 英语
- 发布于
- 10天前
- 复刻
- 196
NVIDIA-NeMo/Switchyard ↗· Rust· Apache-2.0· 最近提交 12小时前
把Claude Code或Codex指向开源模型,智能体照样想用自己那套API说话。Switchyard以Rust代理的身份夹在中间,在OpenAI Chat、Anthropic Messages和OpenAI Responses之间互相翻译,请求则交给vLLM、NVIDIA NIM、Ollama等任意OpenAI兼容端点,客户端察觉不到换过。
同一个代理还能把流量分到多个模型上做A/B基准,挂上信号驱动的分阶段路由,或者在带类型的接口上塞进自己写的算法。Prometheus指标除了请求、错误、延迟和token,还包括路由本身的开销。项目出自NVIDIA NeMo,采用Apache-2.0,既能当二进制跑也能当库用。README里明说它仍在走向成熟。