의사결정 모델의 사후 평가 연구: 행동 선택과 학습 지도를 따로 시험하기

수납장에 컵을 놓기 전에 데워야 하는 작업에서 에이전트가 컵부터 옮긴다면 다음 행동을 고르는 모델의 성능은 낮게 나온다. 같은 모델에게 작업이 끝난 뒤 전체 기록을 주고 각 행동이 목표 달성에 얼마나 도움이 됐는지 물으면 결과가 달라질 수 있다.

저장대·바이두 연구진은 이 차이를 의사결정 모델의 행동 선택, 사후 평가, 학습 지도 역할로 나눠 살폈다. 논문 「Actor, Judge, or Teacher? Understanding Decision Models in Long-Horizon Agents」의 최초 제출은 2026년 11월 12일 17:42:46 UTC다. 한국 시간으로는 11월 13일이다. 논문 제출 이력과 초록에서 날짜를 확인할 수 있다.

행동을 고르는 능력과 평가하는 능력

의사결정 모델은 후보별 확률 같은 정해진 형식으로 응답한다. 연구진은 같은 모델을 다음 행동을 고르는 Actor, 이미 수행한 행동을 평가하는 Judge, 강화학습에 행동별 점수를 주는 Teacher로 사용했다.

Actor는 현재 관찰과 과거 상호작용을 보고 선택한다. Judge는 해당 행동까지의 기록인 Prefix 또는 이후 행동까지 담은 전체 기록인 Hindsight를 받는다. 질문도 달리했다. Value는 작업의 최종 성공 여부를 묻고 Progress는 해당 행동이 목표 달성에 기여했는지를 묻는다. 공식 저장소의 역할 설명에 각 입력과 용도가 정리돼 있다.

성공률을 읽을 때 붙여야 할 조건

연구진의 표 3에서 Qwen2.5-1.5B-Instruct의 성공률은 다음과 같다. 결과는 세 평가 시드의 평균이며 비교 대상인 GRPO 수치는 기존 GiGPO 연구에서 가져왔다.

| 학습 조건 | ALFWorld | WebShop |

| --- | --- | --- |

| 최종 결과 보상만 쓴 GRPO | 72.8% | 56.8% |

| JEV의 Hindsight + Progress 점수 추가 | 82.9% | 71.4% |

연구진은 JEV를 학습 동안 고정해 두고 완료한 실행 기록의 행동별 점수를 GRPO의 학습 신호에 더했다. 평가 시점에는 Teacher를 호출하지 않는다. ALFWorld에서 Hindsight + Value 조건의 성공률은 69.3%였다. 전체 기록을 주는 것만으로 개선을 보장하지는 않는다. 논문 본문 3.3절에서 조건별 결과를 확인할 수 있다.

이 수치는 연구진이 보고한 실험 결과다. CodeDeck은 학습을 재현하지 않았으며 실제 서비스의 작업 성공률로 일반화할 근거도 확인하지 못했다.

개발자가 확인할 재현 경로

공식 코드는 Apache-2.0 라이선스로 공개됐다. decision_model/에는 행동 선택·평가와 학습 연결 코드가 있고 examples/decision_model/에는 Qwen2.5-1.5B-Instruct용 학습 스크립트가 있다.

설치 환경은 따로 확인해야 한다. README의 기본 프레임워크 예제는 Python 3.12를 쓰고 WebShop은 Python 3.10 이하를 요구한다. 두 환경의 vLLM 버전도 각각 0.8.5와 0.8.2로 다르다. 공식 설치·학습 안내를 기준으로 환경을 나누는 편이 낫다.

팀에서 이 방식을 시험한다면 완료된 실행 기록으로 질문과 평가 문맥부터 비교할 수 있다. 연구진도 학습 전에 Judge를 선별하는 방법을 제안한다. 전체 기록을 보는 사후 평가는 이후 결과를 모르는 실시간 행동 필터와 입력 조건이 다르다. 운영 중 행동 차단에 쓰려면 Prefix만 주는 조건을 별도로 평가해야 한다. 이 적용 순서는 공식 저장소의 제안을 따른 개발 관점의 해석이며 운영 효과를 검증한 결과는 아니다.