FrontierHarness Eval

FrontierHarness Eval은 모델과 런타임을 고정한 상태에서 같은 소프트웨어 엔지니어링 과제로 코딩 하네스 9종을 12가지 구성에서 비교합니다. 360회 시행 모두 같은 체크포인트에서 새로 시작하므로, 캐시가 데워져 이득을 얻는 실행은 없습니다. 통과율은 50.0%에서 66.7% 사이의 좁은 구간에 몰리지만, 과제당 중앙값 비용은 1.05달러에서 18.34달러까지 17.5배 차이가 납니다. 공개된 차트는 하네스별 비용과 속도, 통과율을 함께 보여 줍니다.