跳到主要内容
抢先遇见新产品的地方

Switchyard

在OpenAI与Anthropic API之间互译并分流的Rust代理

AI27天前
分类
AI
语言
英语
发布于
27天前
星标
2,799
复刻
254

NVIDIA-NeMo/Switchyard ↗, Python, Apache-2.0, 最近提交 3小时前

把Claude Code或Codex指向开源模型,智能体照样想用自己那套API说话。Switchyard以Rust代理的身份夹在中间,在OpenAI Chat、Anthropic Messages和OpenAI Responses之间互相翻译,请求则交给vLLM、NVIDIA NIM、Ollama等任意OpenAI兼容端点,客户端察觉不到换过。

同一个代理还能把流量分到多个模型上做A/B基准,挂上信号驱动的分阶段路由,或者在带类型的接口上塞进自己写的算法。Prometheus指标除了请求、错误、延迟和token,还包括路由本身的开销。项目出自NVIDIA NeMo,采用Apache-2.0,既能当二进制跑也能当库用。README里明说它仍在走向成熟。

喜欢这个产品吗?