Self-org 연구: 가중치를 고정한 에이전트의 텍스트 자기개선
에이전트가 연습 게임과 텍스트 수정 절차를 스스로 만든 연구다. 고정 가중치 조건, 별도 게임 평가와 공개 코드의 실행 환경을 살펴본다.

MIT와 튀빙겐대학교 연구진이 에이전트가 스스로 연습 게임을 만들고 프롬프트와 스킬 파일을 고치는 실험을 공개했다. 모델 가중치는 고정한다. 에이전트는 주어진 도구와 예산 안에서 연습 방법과 텍스트 수정 순서를 정한다.
논문은 2026년 11월 17일 18:57 UTC에 arXiv에 처음 제출됐다. 한국 시각으로는 11월 18일 03:57이다. 이 연구는 텍스트를 통한 자기개선 절차를 살폈다. 논문과 제출 이력에서 공개 시점을 확인할 수 있다.
교사와 플레이어가 나눠 맡는 일
공식 프로젝트에서 교사 에이전트는 게임을 만들고 플레이어가 쓸 텍스트를 수정한다. 같은 모델의 별도 세션이 플레이어를 맡는다. 교사는 Read·Write·Bash·Gameplay를 사용하며 Gameplay는 새 플레이어 세션의 점수와 실행 기록을 돌려준다.
연구진은 교사에게 파일 수정 예산과 게임 실행 예산을 정해 준다. 교사가 어느 한쪽을 다 쓰면 실험이 끝난다. 연구진은 교사가 만든 게임을 잘 푸는지만 보지 않고 사람이 만든 별도 게임에서 수정한 텍스트가 도움이 되는지 평가했다.
연구진이 보고한 결과와 범위
논문 본문의 주 실험은 Claude·GPT·GLM 계열의 모델 6종을 비교한다. 모델마다 교사 세션을 3회 실행했으며 수정 예산은 20회, 게임 실행 예산은 150회다. 연구진은 최신 세대 모델에서 개선을 관찰했지만 이전 세대에서는 개선이 작거나 없었다고 보고했다. 이 결과를 모든 에이전트의 일반적 능력으로 볼 수는 없다.
연구진은 Claude Opus-5의 경우 같은 게임 실행 예산에서 GEPA와 비슷한 성능을 냈다고 설명한다. GEPA는 실제 게임 20개로 텍스트를 최적화하는 비교 방식이다. 자체 생성 게임을 쓴 방식과 비교했다는 조건을 함께 읽어야 한다. 실험 설정과 비교 결과에는 평가 조건이 나온다.
프로젝트는 다른 게임 엔진과 3D 탐색으로 텍스트가 전이되는 결과도 소개한다. 다만 게임에서 얻은 결과가 실제 저장소 수정이나 서비스 운영에도 적용되는지는 확인하지 않았다. 이 글에서도 실험을 독립적으로 재실행하지 않았다.
개발자가 확인할 실행 조건
공개 저장소의 README는 Python 3.10 이상과 Node.js를 요구한다. MazeBench 평가에는 Node.js 20 이상이 필요하다. 실행 환경은 Singularity/Apptainer 또는 Docker이며 사용하는 모델에 맞는 인증 정보도 준비해야 한다.
저장소는 기본 플레이어 평가, 교사의 텍스트 수정, 수정 후 평가를 나눠 실행한다. 수정한 파일은 버전별로 남긴다. 따라서 개발자는 최종 점수와 함께 어떤 텍스트 변경이 결과에 영향을 줬는지 살펴볼 수 있다.
사내 에이전트에 적용한다면, 연습 중 점수와 분리한 평가 세트를 먼저 두는 편이 좋다. 스킬 파일을 고칠 때마다 원래 버전과 같은 조건으로 비교하고 비용도 함께 기록하자는 제안이다. 이는 연구 설계에서 얻은 적용 아이디어이며 업무 생산성 향상을 입증한 결과는 아니다.



Discussion
No comments yet