每道提示詞在 50 毫秒內選好模型。
weave-os/router ↗, Go, 最近提交 15小時前
Router 放在代理型系統的前面,把每一道提示詞分派給合適的模型,這一步耗時不到 50 毫秒。接上去只要改一個端點,官方給出的節省幅度是 40% 到 70%。多個模型之間該選哪一個的判斷,也因此從應用程式的程式碼裡挪了出去。原始碼開源在 GitHub 的 workweave 名下。