Router

프롬프트 하나를 어느 모델로 보낼지, Router는 50밀리초 안에 정합니다. 에이전트 시스템 앞단에 놓여 요청마다 알맞은 모델을 골라 주니, 모델을 갈아 끼우는 배선이 애플리케이션 코드 밖으로 빠집니다. 붙이는 방법은 엔드포인트 주소를 바꾸는 것이 전부이고, 그것만으로 비용이 40~70% 줄어든다는 숫자를 프로젝트가 내걸었습니다. 라우팅이 길어지면 스스로 지연이 되니, 50밀리초는 이 도구가 자기에게 건 제약이기도 합니다.