跳到主要内容
抢先遇见新产品的地方

Switchyard

在OpenAI与Anthropic API之间互译并分流的Rust代理

AI10天前
分类
AI
语言
英语
发布于
10天前
星标
2,331
复刻
196

NVIDIA-NeMo/Switchyard ↗· Rust· Apache-2.0· 最近提交 12小时前

把Claude Code或Codex指向开源模型,智能体照样想用自己那套API说话。Switchyard以Rust代理的身份夹在中间,在OpenAI Chat、Anthropic Messages和OpenAI Responses之间互相翻译,请求则交给vLLM、NVIDIA NIM、Ollama等任意OpenAI兼容端点,客户端察觉不到换过。

同一个代理还能把流量分到多个模型上做A/B基准,挂上信号驱动的分阶段路由,或者在带类型的接口上塞进自己写的算法。Prometheus指标除了请求、错误、延迟和token,还包括路由本身的开销。项目出自NVIDIA NeMo,采用Apache-2.0,既能当二进制跑也能当库用。README里明说它仍在走向成熟。

喜欢这个产品吗?