긴 컨텍스트 대신 압축과 선택적 읽기: NVIDIA 연구의 실험과 한계

코딩 에이전트가 저장소를 탐색하고 테스트를 반복하면 명령과 결과가 대화에 쌓인다. 매번 전체 기록을 모델에 전달해야 할까? NVIDIA 소속 연구진은 11월 3일 공개한 논문 You don’t need long context에서 작업 상태를 압축하고 필요한 자료만 읽는 방법을 시험했다.

연구진은 여러 벤치마크에서 짧은 활성 컨텍스트로도 전체 이력을 유지한 기준선에 가까운 결과를 얻었다고 보고한다. 다만 이는 특정 모델과 작업에 관한 실험이다. 긴 문맥이 모든 상황에서 불필요하다는 증명은 아니다.

기록을 줄이는 두 가지 방법

연구진이 비교한 기본 방식은 명령, 모델 응답, 도구 결과를 하나의 대화에 계속 쌓는다. EoCC는 대화가 정해진 길이에 도달하면 모델이 현재 작업에 필요한 상태를 요약하고 원래 작업 지시와 요약을 넣어 새 대화를 시작한다. 한도를 넘을 때마다 이 과정을 반복한다.

SAC는 더 자주 압축한다. 한 대화에서 환경에 대한 행동 하나를 수행하고 결과를 확인한 뒤 상태를 갱신한다. 다음 행동은 그 상태를 받은 새 대화에서 시작한다. 긴 문서가 입력인 실험에서는 문서 전체를 한 번에 넣는 대신 파일로 보관하고 Bash 도구로 필요한 부분을 읽게 했다.

정확도와 비용은 어떻게 달라졌나

연구진은 긴 작업의 주된 정확도 실험에 Claude Opus 4.5와 GPT 5.6 Sol을 사용했다. 코딩 작업에는 SWE-bench와 Terminal-Bench 등이 포함됐다. 논문에 따르면 긴 작업의 여러 벤치마크와 압축 설정에서 Opus의 정확도는 전체 이력 기준선 대비 3.7%포인트 낮은 경우부터 5.6%포인트 높은 경우까지 나타났다. GPT 5.6 Sol의 범위는 -3.3~+4.4%포인트였다.

같은 긴 작업 실험에서 연구진이 추정한 최적화된 소매 비용 절감 배율은 Opus 2.2~8.8배, GPT 5.6 Sol 2.4~5.0배였다. 실제 API 청구액을 측정한 범용 할인율이 아니다. 논문의 비용 모델과 설정에 따른 추정치다. 연구진의 결과를 독립적으로 재현하지는 않았다.

별도의 출력 토큰 생성 처리량 실험에서 연구진은 H100의 시간당 가격을 적용했다. 캐시가 이미 준비된 조건에서 256K 컨텍스트의 출력 토큰 생성 비용은 16K 대비 GLM 5.2가 3.6배, Kimi K2.6이 5.6배, Qwen 3 Coder Next가 7배였다고 추산했다. 이 수치는 전체 에이전트 작업 비용이나 모든 모델에 그대로 적용할 수 없다.

압축해도 원본 기록은 필요하다

압축은 정보를 버린다. 여러 차례 요약하면서 초기에 나온 제약이나 중요한 오류가 빠질 수 있다. 논문도 특정 과거 기록이 필요한 작업에서는 손실이 생길 수 있다고 설명한다. 연구진은 전체 이력을 별도로 보관하고 필요할 때 선택적으로 읽는 방법을 제안한다.

실무에서 시도한다면 원본 로그와 파일을 복구 가능하게 두고 요약에 목표·제약·진행 상황·검증 결과를 남기는 편이 좋다. 압축 주기를 바꾸면서 작업 성공률과 전체 토큰 사용량, 지연을 함께 측정해야 한다. 짧은 컨텍스트가 유리한지는 사용하는 모델과 작업에서 확인할 문제다.

연구진은 행동마다 자연어 상태를 갱신하도록 학습하는 시맨틱 상태 공간 모델도 제안했다. 이는 논문에서 제시한 방향이며, 이미 검증된 범용 대체 모델로 받아들일 근거는 없다.

출처: 연구 논문 원문, 2026년 11월 3일 공개.