Router

プロンプトをどのモデルに渡すか、Routerは50ミリ秒以内に決めます。エージェントシステムの手前に立ち、リクエストごとに適したモデルを選ぶため、モデルの切り替え配線がアプリケーション側から外れます。導入はエンドポイントの向き先を変えるだけで、それだけでコストが40〜70%下がるという数字をプロジェクトは掲げています。判断に時間をかけすぎれば自分が遅延になるので、50ミリ秒はこの道具が自らに課した制約でもあります。