All posts

FrontierHarness v1.1: 모델을 바꾸면 에이전트 비용 순위도 달라진다

Runta가 22개 하네스 설정과 모델 5종을 비교했다. 실패·시간초과에 쓰인 정가 추론비용 64.5%의 의미와 팀에서 다시 측정할 항목을 살핀다.

다섯 모델 모듈의 작업 경로가 성공 깃발과 시간초과 시계로 나뉘고 저울이 추론비용을 비교하는 개념도

Runta가 2026년 11월 17일 공개한 FrontierHarness Eval v1.1은 코딩 에이전트의 하네스와 모델을 함께 비교한 실험이다. 하네스는 모델에 도구를 연결하고 작업을 반복 실행하는 프로그램이다. Runta는 모델을 바꾸면 비용이 낮은 하네스도 달라졌다고 보고했다.

공식 실험 보고서에서 말하는 비용은 모델의 정가로 추산한 추론비용이다. 실제 청구액이나 개발팀의 전체 비용으로 해석하면 범위가 달라진다. 아래 수치는 Runta의 자체 실험 결과이며 이 글에서 독립 재현하지 않았다.

18개 하네스, 22개 설정을 비교했다

Runta는 하네스 18개를 시험했다. DeepSeek Harness의 도구 구성 4종과 OpenCode의 버전 2종을 따로 세어 비교 설정은 22개가 됐다. 각 설정에 모델 5종과 터미널 과제 62개를 적용하고 과제마다 4회씩 실행했다. 총 27,280회 실행에 사용한 토큰은 830억 개라고 밝혔다.

모델 5종은 GLM-5.3, GLM-5.3 Flash, DeepSeek V4.1 Flash 1017, Muse, Kimi-K3다. Baseten이 모든 모델을 서빙했으며 Runta는 각 하네스의 기본 설정과 최대 추론 강도를 사용했다고 설명한다. 비공개 모델은 이번 비교에 포함하지 않았다.

실시간 대시보드는 별도로 갱신된다. 확인 당시 대시보드 소개에는 설정 21개가 표시돼 있었다. 이 글의 22개 설정과 27,280회는 11월 17일 보고서의 실험 범위로 한정한다.

과제당 비용과 성공당 비용은 구분해야 한다

Runta는 과제당 평균 추론비용과 성공당 비용을 따로 계산했다. 성공당 비용은 과제당 평균 비용을 통과율로 나눈 값이다. 실패한 실행의 비용도 이 지표에 반영된다.

보고서에서 Codex CLI는 과제당 비용 순위가 GLM-5.3에서는 1위였고 Kimi-K3에서는 16위였다. 같은 모델 안에서 가장 비싼 하네스와 가장 싼 하네스의 과제당 비용 차이는 1.8~5.0배였다. 이 순위를 특정 하네스의 고정된 특성으로 받아들이기 어렵다.

Runta가 고른 모델별 추천도 단순히 성공당 비용이 가장 낮은 조합만 뜻하지 않는다. 다른 하네스가 성공당 비용을 최대 30% 더 쓰면서 통과율을 5%포인트 이상 높이면 그 조합을 선택하는 규칙도 적용했다. 추천 이름을 옮길 때는 이 선택 기준까지 함께 읽어야 한다.

64.5%는 실패·시간초과 실행의 비용 비중이다

Runta에 따르면 점수를 매긴 실행의 정가 기준 추론비용 중 52.7%는 실패에, 11.8%는 시간초과에 쓰였다. 합계는 64.5%다. 실행 횟수의 64.5%가 실패했다는 뜻으로 바꾸면 안 된다.

모델별 최적 조합 5개의 로그에서도 실패를 알리는 방식에 문제가 있었다. 실패 실행의 68~82%는 시간제한에 걸리기 전에 최종 답변을 내고 종료했다. 이 관찰은 에이전트가 완료했다고 말해도 별도 검증기의 결과를 확인해야 하는 근거가 된다. 종료 전 검증을 추가하면 비용이 얼마나 줄어드는지는 이번 실험에서 시험하지 않았다.

팀에서 다시 비교할 때 남길 기록

팀에서 모델을 교체할 때는 같은 작업 묶음으로 하네스 후보도 다시 시험하는 편이 좋다. 통과 여부를 확인할 테스트나 검증기를 먼저 정하고 실패·시간초과 비용을 포함해 성공당 비용을 계산한다. 과제당 비용도 함께 남기면 시도 한 번이 저렴한 조합과 실제 통과에 적게 쓰는 조합을 비교하기 쉽다.

캐시 가격과 캐시 적용 방식도 기록할 필요가 있다. 이번 결과는 Baseten의 가격과 캐시 조건을 사용했다. 다른 제공자에서는 비용 순위가 달라질 수 있다. 대표 과제를 여러 번 실행해 통과율의 흔들림도 확인해야 한다. Runta는 통과율의 95% 구간이 대략 ±10%포인트여서 몇 %포인트 차이는 동률로 봐야 한다고 설명한다.

하네스 내부를 고친다면 반복 단계 수와 각 단계의 토큰 사용량부터 살펴볼 만하다. Runta는 단계 수와 성공당 비용의 상관관계를 보고했다. 이 결과만으로 단계를 줄이면 품질을 유지하면서 비용도 줄어든다고 단정할 수는 없다. 수정 뒤에는 같은 검증기로 통과율과 비용을 다시 측정해야 한다.

Discussion

No comments yet