GDPx: AI 에이전트 평가 점수에서 실행 조건까지 읽는 법

AI 코딩 에이전트를 고를 때 리더보드의 첫 번째 숫자만 보면 무엇을 놓칠까? SemiAnalysis가 11월 2일 소개한 GDPx는 복잡한 작업을 오래 수행하는 에이전트를 여러 전문 분야에서 평가한다. 점수뿐 아니라 실행 시간, 도구 환경, 채점 방식을 함께 봐야 하는 이유를 보여준다.

어떤 작업을 평가하나

GDPx는 소프트웨어 엔지니어링, 칩 설계, 보안, 생물학 등 11개 분야를 다룬다. 분야 소개에 따르면 과제는 저장소 수정부터 여러 서비스가 연결된 보안 환경, 실험 데이터 분석까지 다양하다. 주최 측은 14개 전문 데이터 파트너와 협력해 과제를 구성했다고 설명한다.

기본 제한 시간은 과제당 8시간이며 일부는 더 짧다. 주최 측은 가능한 경우 각 모델의 기본 에이전트 환경을 사용했고 없는 모델에는 OpenCode를 사용했다. 따라서 결과에는 모델 자체뿐 아니라 도구와 실행 환경의 영향도 함께 들어간다.

12%는 무엇을 뜻할까

확인 시점의 공식 리더보드에서 Claude Opus 5.5의 종합 점수는 12.0%다. 이는 GDPx 주최 측이 선택한 과제와 채점 방식에서 나온 결과이지, 실제 업무의 12%를 자동화할 수 있다는 뜻은 아니다. 결과는 독립적으로 재현하지 않았다.

주최 측에 따르면 종합 점수는 과제마다 세 번 시도한 결과를 바탕으로 계산하며 11개 분야에 같은 가중치를 준다. 한 분야에 여러 파트너가 있으면 파트너에도 같은 가중치를 부여한다. 과제에 따라 성공 여부로 채점하거나 부분 점수를 준다. 그래서 종합 점수만으로 특정 팀의 작업에 맞는 모델을 판단하기 어렵다.

안전 분류기가 일부 보안·생물학·정렬 과제의 점수에 영향을 준다는 설명 역시 주최 측의 해석이다. 도구 권한과 안전 설정을 달리한 자체 평가 없이 이를 모델의 일반적인 능력 차이로 단정할 수 없다.

개발팀이 가져갈 점

리더보드에서 자기 팀과 가까운 분야를 먼저 보고 그다음 실제 저장소와 비슷한 과제로 검증해 보자. 버그 수정이 주 업무라면 기존 기능을 유지하는지, 경계 조건을 빠뜨리지 않는지, 변경 사항을 검증하는 테스트가 요청한 동작을 다루는지 확인할 수 있다. GDPx의 소프트웨어 분야 설명에서도 기존 동작 유지와 통합, 경계 조건을 실패 사례로 지목한다. 이는 평가 주최 측의 관찰이다.

비교할 때는 모델 버전과 에이전트 도구, 실행 시간과 호출 비용, 허용한 권한을 함께 기록하는 편이 좋다. 제한 시간이나 도구가 달라지면 점수 차이의 원인을 모델 하나로 좁히기 어렵기 때문이다. 실제 배포 전에는 팀의 보안 경계와 검토 절차 안에서 작은 작업부터 시험하는 것이 합리적이다.

GDPx는 장시간 작업을 평가하는 하나의 참고 자료다. 순위는 출발점으로 삼고 도입 결정은 팀이 실제로 맡길 작업과 실패 비용을 기준으로 내려야 한다.

출처: SemiAnalysis의 GDPx 발표, GDPx 리더보드, 분야별 과제 설명.