FrontierHarness Eval

FrontierHarness Eval はモデルとランタイムを固定したまま、同一のソフトウェアエンジニアリング課題でコーディングハーネス9種を12通りの構成で比較します。360回の試行はすべて同じチェックポイントから開始するため、キャッシュが温まった状態で得をする実行はありません。合格率は 50.0% から 66.7% の狭い範囲に収まる一方、課題あたりの費用の中央値は 1.05 ドルから 18.34 ドルまで 17.5 倍に開きます。公開されているチャートは、ハーネスごとの費用と速度と合格率を一緒に示します。