每条提示词在 50 毫秒内选好模型。
weave-os/router ↗, Go, 最近提交 15小时前
一个提示该交给哪个模型,Router 在 50 毫秒内决定。它站在智能体系统前面,为每个请求挑选合适的模型,把模型之间的切换从应用代码里挪了出来。接入只需把端点指向它,项目给出的成本降幅是 40% 到 70%。路由本身要是想得太久,就成了它本要省下的那段延迟,50 毫秒因此是它给自己划的线。