All posts

RepoFactory 공개: 저장소 학습 환경 10,159개와 공개된 200개의 차이

저장소를 통째로 재구성하는 코딩 에이전트 학습 연구다. 환경 진화의 평가 결과와 현재 공개된 200개 환경, 로컬 검증 조건을 살펴본다.

소스 코드 파일을 격리된 모듈 환경으로 바꾸고 테스트로 검증하는 RepoFactory의 학습 환경 구성 개념도

RepoFactory는 실제 소프트웨어 저장소를 코딩 에이전트의 학습 환경으로 바꾸는 연구다. 에이전트는 자연어 명세와 API 안내를 받고 빈 작업 공간에서 프로젝트 전체를 구현한다. 연구진은 2026년 11월 16일 논문을 처음 제출했고 17일 개정했다. 논문과 제출 이력에서 날짜를 확인할 수 있다.

실행 가능한 과제를 고치는 반복 과정

Environment Evolution Loop는 참조 구현, 과제 명세, 테스트를 함께 수정한다. 유효성, 구조적 결합도, 구현 범위를 곱한 지표로 수정 방향을 정한다. 유효성 검사는 참조 구현이 만점을 받고 초기 작업 공간이 0점을 받는지 확인한다. 구조적 결합도는 함수 호출 관계를, 구현 범위는 코드 규모와 의존성을 반영한다.

환경을 고칠 때는 후보마다 풀이 에이전트를 실행하거나 모델을 재학습할 필요가 없다. 검증기 실행과 코드 분석으로 피드백을 얻는다. 이 설명은 환경을 만드는 반복 과정에 해당한다. 완성된 환경에서 학습용 궤적을 수집하는 단계까지 모델 실행을 생략한다는 뜻은 아니다. 논문 본문에 절차가 설명돼 있다.

보고된 점수와 공개 범위

연구진은 17개 분야의 환경 10,159개를 구성했다고 보고했다. Qwen3.5-35B-A3B를 학습한 RepoHorizen-35B-A3B는 NL2Repo-Bench에서 기준 모델보다 22.6%p 높은 점수를 기록했다. 다섯 벤치마크 평균 개선은 8.5%p다. 환경 진화를 생략한 학습에서는 각각 17.5%p와 6.4%p 개선을 보고했다. 이 수치는 연구진의 평가 결과이며 이번 확인에서는 독립 재현을 수행하지 않았다.

현재 다운로드할 수 있는 초기 데이터는 환경 진화를 적용하기 전의 200개 환경과 Docker 이미지다. 논문에서 사용한 전체 환경 수와 공개된 환경 수를 구분해야 한다. 공식 GitHub와 Hugging Face 데이터 카드가 이 공개 범위를 명시한다.

한 환경에서 먼저 확인할 것

공식 안내는 Docker의 Linux/amd64 컨테이너 지원과 Harbor에 맞는 Python 환경을 요구한다. 데이터 카드에서는 과제 하나와 그 이미지를 먼저 받도록 안내한다. 전체 이미지를 받기 전에도 개별 환경을 시험할 수 있다. 압축을 푼 파일, Docker 계층, 실행 작업 공간에는 추가 디스크 공간이 필요하다.

참조 구현과 평가용 테스트는 풀이 에이전트의 작업 공간 밖에 둬야 한다. 두 자료를 에이전트가 읽을 수 있으면 저장소를 재구성하는 조건이 달라진다. 공식 안내의 검증 명령은 다음과 같다.

harbor run --path tasks/000001 --agent oracle --env docker
harbor run --path tasks/000001 --agent nop --env docker

oracle은 참조 구현을 복사하고 nop은 초기 작업 공간을 그대로 둔다. 실행 결과와 검증 로그에서 전자는 만점, 후자는 0점인지 확인한다. 위 명령은 공식 사용법을 소개한 것이며 이 글을 위해 로컬에서 실행하지는 않았다.

Discussion

No comments yet