Switchyard

클로드 코드나 코덱스를 오픈소스 모델에 붙여도 에이전트는 여전히 자기 API 로 말하려 합니다. Switchyard 는 그 사이에 러스트 프록시로 앉아 OpenAI Chat·Anthropic Messages·OpenAI Responses 형식을 서로 옮겨 주고, 요청은 vLLM·NVIDIA NIM·Ollama 를 비롯한 OpenAI 호환 엔드포인트가 대신 처리합니다. 클라이언트 쪽은 바뀐 걸 모릅니다.

같은 프록시로 여러 모델에 트래픽을 나눠 A/B 벤치마크를 돌리거나, 신호 기반 단계 라우팅을 걸거나, 타입이 잡힌 인터페이스에 직접 짠 알고리즘을 끼웁니다. 프로메테우스 지표는 요청·오류·지연·토큰에 더해 라우팅 자체의 오버헤드까지 냅니다. NVIDIA NeMo 에서 나온 Apache-2.0 프로젝트이고 바이너리로도 라이브러리로도 씁니다. README 는 아직 성숙 단계라고 스스로 밝히고 있습니다.