StateBench: 긴 문맥에서 언어 모델은 바뀐 상태를 얼마나 잘 추적할까

긴 문서를 한 번에 읽을 수 있는 모델이라도 그 안에서 바뀐 상태를 정확히 따라갈 수 있을까? Ai2가 11월 3일 소개한 StateBench는 이 질문을 변수 할당과 변경 과제로 나눠 살펴본다. 코드를 읽을 때 변수의 현재 값을 추적하거나 이야기 속 물건이 누구에게 있는지 파악하는 작업과 닮았다.

연구진은 11월 2일 제출한 논문에서 네 단계의 합성 과제를 제시했다. 고정된 값을 찾는 단계부터 마지막으로 할당된 값을 찾는 단계, 이전 값에 연산을 적용하는 단계, 다른 변수의 현재 값을 참조하는 단계까지 난도가 높아진다. 같은 할당 순서에서 더 쉬운 버전을 만들어 비교한다.

마지막 값만 찾으면 될까

예를 들어 x = 4 다음에 x = 2가 나오면 마지막 할당만 찾아도 된다. x = x + 5가 반복되면 앞선 값을 계속 반영해야 한다. x = y처럼 다른 변수의 값을 복사하는 경우에는 여러 변수 사이의 변경 순서까지 따라가야 한다. 긴 코드나 문서의 일부를 검색하는 것과 변경 이력을 계산하는 것은 서로 다른 작업이다.

Ai2가 공개한 결과에 따르면 Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol, GPT-6 Luna는 고정값과 마지막 할당을 찾는 과제에서는 좋은 성적을 냈다. 그러나 입력이 길어질수록 어려운 상태 추적에서 정확도가 떨어졌고 가장 긴 최고 난도 과제에서는 네 모델 모두 13% 이하였다. 이 수치는 연구진이 보고한 특정 합성 과제의 결과다. 코딩이나 실무 전체의 정확도를 뜻하지 않으며 독립적으로 재현하지 않았다.

학습과 구조를 따로 보기

연구진은 사전학습된 모델의 결과만으로 구조적 한계를 단정하지 않으려고 2억 7,500만 매개변수 모델들을 과제에 맞춰 처음부터 학습했다. 학습에 사용한 순서는 최대 256개 할당이었고 시험에서는 최대 6만 4,000개까지 늘렸다.

연구진에 따르면 Gated DeltaNet과 하이브리드 모델은 세 가지 쉬운 단계에서 시험한 가장 긴 순서까지 거의 완벽하게 일반화했다. 가장 어려운 단계에서는 메모리 갱신이 더 유연한 Gated DeltaNet 변형이 학습 최대 길이의 약 10배까지 거의 완벽한 성적을 유지했다. 실험한 트랜스포머들은 가장 어려운 단계를 학습하지 못했다. 이는 연구진이 정한 모델과 학습 조건의 결과이지 모든 구현의 성능을 보장하는 법칙은 아니다.

사전학습 모델을 평가할 때는 문제의 표현 방식도 영향을 미쳤다. Ai2는 일부 소형 모델이 같은 기본 과제를 스프레드시트 편집 형태로 바꾸자 성적이 크게 낮아졌다고 설명한다. 긴 문서를 다루는 에이전트를 평가한다면 맥락 길이만 확인하지 말고 실제 업무에서 상태가 바뀌는 순서와 출력 형식을 포함한 테스트를 마련하는 편이 낫다. 이는 연구 결과를 실무 평가에 적용한 제안이다.

StateBench는 변수의 개수가 고정돼 있다. 실제 대화나 문서처럼 새 인물과 사물이 중간에 등장하는 상황은 아직 다루지 않는다. 연구진은 벤치마크 코드와 데이터를 공개했다. 자세한 실험 조건은 Ai2의 공식 설명과 연구 논문에서 확인할 수 있다.