DominoBench 공개: 물리 추론 점수와 힌트 조건 구분하기
DominoBench 논문 v1의 72%·34% 지표와 H0·H3 조건을 구분하고, 공개 평가 파일과 재현 시 확인할 항목을 살펴봅니다.

Emilio Ferrara가 2026년 11월 16일 arXiv에 DominoBench 논문 v1을 제출했다. 정지 이미지에서 연쇄 작용의 결과를 예측하는 시각언어 모델 평가다. 개발자는 점수를 비교할 때 평가 세트와 힌트 수준을 함께 확인해야 한다. 아래 수치는 저자의 실험 결과이며 이 글에서 독립적으로 재현하지 않았다.
작은 차이로 결과가 바뀌는 이미지 쌍
전체 세트는 854문항, 427쌍이다. 한 가지 수치만 조금 바꿔 특정 인물의 생존 여부가 뒤집히도록 장면을 구성했다. 저자는 물리 시뮬레이터로 정답을 정했다. 모델이 비슷한 두 장면에 같은 답을 반복하는지를 살피는 구조다.
힌트는 H0부터 H3까지 네 단계다. H0에는 추가 힌트가 없고 H2는 결과를 가르는 단계를 짚는다. H3는 필요한 계산과 입력값을 준다. 여기에는 정지 이미지에서 직접 읽을 수 없는 값도 포함된다. 따라서 H3 점수를 이미지 자체만으로 추론한 성능으로 해석하면 안 된다. 논문 v1의 평가 설계
72%와 34%는 서로 다른 지표
논문의 DominoBench-124 결과에서 GPT-6.1-Sol은 H0에서 결과가 뒤집히는 인물의 상태를 72% 맞혔다. 두 이미지의 모든 인물 상태를 둘 다 맞힌 쌍의 비율은 34%였다. H3에서 앞의 인물별 지표는 82%로 올랐다. 이 세 수치를 같은 정답률로 묶으면 평가 의미가 달라진다.
30개 모델이 모두 전체 854문항을 풀지는 않았다. 논문은 전체 세트와 124문항 세트, 별도로 생성한 38문항 세트를 구분한다. 모델 순위를 인용할 때도 어느 세트인지 밝혀야 한다. 논문 v1의 표 1과 실험 구성
공개 파일과 도입 전 확인할 조건
공식 저장소 README는 이미지, 장면 JSON, 시뮬레이션 궤적과 평가 코드를 안내한다. 데이터와 코드는 MIT 라이선스다. 38문항 세트는 빠른 점검용으로 제공된다.
자체 모델을 평가한다면 같은 이미지 쌍을 H0와 H3에서 각각 실행하고 두 조건의 결과를 따로 기록하는 편이 좋다. 이는 평가 설계를 바탕으로 한 실무 제안이다. 이 글에서는 모델 실행이나 비용 측정을 하지 않았다. 도구와 메모리가 정답 파일을 읽지 않도록 실행 환경도 확인해야 한다. README에는 백엔드별 실행 방식과 결과 재개 방법이 나와 있다.
이 평가는 2D 시뮬레이션 장면을 다룬다. 실제 로봇이나 현실 영상의 성능으로 일반화할 근거는 별도로 필요하다. 논문의 제한 사항도 함께 살펴볼 만하다.



Discussion
No comments yet