Decision Index v2: 정답률·확신도와 문서당 비용을 함께 읽기

Artificial Analysis가 11월 8일 Decision Index v2를 공개했다. 비공개 데이터의 평가 비중을 25%에서 45%로 높이고 정답 여부와 확신도를 함께 반영하는 Decision Score를 도입했다. 11월 9일 브리핑에서 발견한 소식이며 발표일은 전날이다. 아래 평가 방식과 측정 결과는 Artificial Analysis 공식 발표에 따른다. 이 글에서 실험을 별도로 재현하지는 않았다.

답이 맞았는지, 얼마나 확신했는지

Decision Score는 50 × (1 + Accuracy − Brier score)로 계산한다. 정답률이 같아도 확신도를 얼마나 잘 맞췄는지에 따라 점수가 달라진다.

앱에서 모델이 자신 있다고 답한 요청만 자동 처리한다면 전체 정답률만으로 승인 기준을 정하기 어렵다. 예를 들어 송장 분류에서 확신도가 높은 오답을 사람 검토 없이 넘기는 경우를 따로 살펴볼 필요가 있다. 이는 평가 방식을 업무에 적용할 때의 해석이다.

문서 전체가 맞아야 통과한다

새 평가 AA-Paperclip은 비공개 문서 1,500개를 사용한다. 문서마다 판단 다섯 개와 사실 추출 열 개를 묻고 15개 답이 모두 맞아야 문서 하나를 통과한 것으로 센다.

실무 평가에도 이 구분을 가져올 만하다. 송장의 공급자명과 날짜가 맞아도 최종 지급 구분이 틀리면 작업을 끝낼 수 없다. 항목별 정확도와 문서 전체 통과율을 나란히 기록하면 어느 단계에 검토가 필요한지 살펴보기 쉽다. 다만 실제 자동 처리 범위는 팀의 오류 허용 기준에 맞춰 정해야 한다.

토큰 단가 옆에 입력 반복 횟수를 적자

공식 발표에 따르면 GLiDE v1.2는 질문마다 문서를 다시 입력하고 과금한다. Drex Max v1.1은 여러 질문에 쓸 문서 입력을 한 번 과금한다. 같은 문서를 처리해도 호출 구조가 비용을 바꾼다.

개발팀의 비교표에는 토큰 단가뿐 아니라 문서당 입력량, 호출 횟수, 재시도와 사람 검토 비용도 넣는 편이 좋다. 먼저 실제 문서 묶음으로 최종 처리 성공률과 총비용을 측정해 보자. 공개 지수의 순위는 후보를 좁히는 참고 자료로 쓰고 배포 판단에는 팀의 문서와 승인 조건을 반영한 결과를 쓰는 방식이다.

출처: Decision Index v2 공식 발표, 2026년 11월 8일