ReFoCo 공개: 이미지 영역에 집중하는 ViT의 학습과 성능 차이

Kioxia 연구진이 ReFoCo 연구를 공개했다. 이미지의 서로 다른 영역에 집중하도록 Vision Transformer(ViT)를 학습하는 방법이다. ReFoCo는 학습 때 attention head의 역할을 나눈다. 논문은 2026년 11월 9일 arXiv에 처음 제출됐고 공식 프로젝트는 NeurIPS 2026 채택 연구로 소개한다. 논문 정보와 공식 프로젝트에서 확인할 수 있다.

학습할 때 영역과 표현을 연결한다

DINO 계열의 자기지도 학습은 사람이 붙인 정답 라벨 없이 이미지 표현을 익힌다. 연구진은 여러 attention head가 비슷하거나 모호한 영역을 보는 문제에 주목했다. ReFoCo는 이미지 영역과 모델의 집중 영역을 연결하는 region-to-focus correspondence를 뜻한다.

연구진은 inside-focus loss와 outside-focus loss를 추가했다. 앞의 손실은 잘라낸 이미지 영역과 전체 이미지에서 해당 영역을 보는 표현을 맞춘다. 뒤의 손실은 이미지 일부를 가렸을 때 남은 영역에 집중하도록 유도한다. 두 손실은 별도의 주석 없이 공간별로 다른 attention head를 학습하려는 장치다. 공식 방법 설명에 두 손실의 관계가 나와 있다.

분할 점수와 분류 정확도를 함께 봐야 한다

연구진은 논문 표 1에서 ViT-L/16-Reg에 두 손실을 추가한 결과를 보고했다. ImageNet-Seg. mIoU는 63.67%에서 67.29%로 높아졌다. PASCAL VOC에서는 58.10%에서 60.68%로 높아졌다. mIoU는 예측한 분할 영역과 정답 영역이 겹치는 정도를 클래스별로 계산해 평균한 값이다.

같은 논문의 표 3에서 ImageNet-1k k-NN 분류 정확도는 81.7%에서 80.3%로 낮아졌다. 연구진은 분할에 유리한 학습이 전체 이미지 분류에도 늘 유리하다고 해석하지 말라고 설명한다. 이 수치는 연구진이 보고한 실험 결과이며 별도의 재현 실험으로 확인하지 않았다. 논문 본문과 평가 표를 함께 읽어야 적용할 작업에 맞게 판단할 수 있다.

공개 코드로 확인할 범위

공식 GitHub 저장소는 학습과 평가 스크립트, attention map 시각화, 특징 추출 예제를 제공한다. 학습 예제는 프로세스 4개를 사용한다. 이 설정을 실행에 필요한 최소 GPU 수로 해석해서는 안 된다.

공식 Hugging Face 모델 저장소에는 ViT-B/16-Reg, ViT-L/16-Reg, ViT-g/16-Reg 가중치가 올라와 있다. 코드와 모델 카드는 Apache-2.0 라이선스를 표시한다. GitHub README에 따르면 제공된 가중치는 모두 teacher 모델이며 평가 예제도 이를 기준으로 작성했다.

특징 추출 스크립트는 기본 설정에서 특징을 저장하지 않는다. 저장하려면 --save_features 옵션을 사용한다. README는 이 스크립트의 영역 상자가 현재 예시용 placeholder라고 명시한다. 자신의 이미지 영역을 지정하는 작업까지 확인한 뒤 결과를 비교해야 한다.

개발자가 먼저 확인할 대상은 자신의 이미지에서 나온 attention map과 작업별 평가 점수다. 공개 파일과 예제는 확인했지만 전체 학습·추론은 실행하지 않았다. 공식 저장소는 유지보수와 버그 수정을 보장하지 않는다고 밝힌다.

대표 이미지는 attention head가 서로 다른 영역을 보는 방식을 표현한 AI 생성 개념 일러스트다.