SAE Interprets MoE: 전문가 선택 빈도와 특징 기여를 나눠 읽기

MoE 모델에서 어떤 전문가가 선택됐는지 세는 것만으로는 각 전문가가 실제로 무엇을 담당하는지 알기 어렵다. ByteDance Seed 연구진은 전문가 출력에 희소 오토인코더(SAE)를 적용했다. 특정 특징을 만드는 데 각 전문가가 얼마나 기여했는지 분석했다. 논문은 2026년 11월 5일 제출됐다. 코드와 SAE 가중치도 공개됐다. 논문 원문에서 연구 범위와 제출일을 확인할 수 있다.

선택 빈도에서 특징별 기여로

기존 분석은 코드나 수학처럼 미리 정한 분야의 입력에서 어떤 전문가가 자주 선택되는지 살펴본다. 이 방식은 분야를 먼저 정해야 하고 선택된 전문가가 출력에 미친 기여까지 직접 설명하지는 못한다.

연구진은 MoE 계층의 출력을 SAE로 분해했다. MoE 출력은 라우터 가중치를 곱한 전문가 출력의 합이다. SAE 인코더는 아핀 변환이어서 각 잠재 특징의 활성화 직전 값을 전문가별 항으로 정확히 나눌 수 있다는 접근이다. 이 수학적 분해와 사람이 붙이는 특징의 의미는 구분해야 한다. 분해가 정확하다고 해서 자동으로 생성한 의미 설명까지 정답이 되는 것은 아니다. 공식 저장소에 계산 절차와 실험 코드가 있다.

연구진이 관찰한 세부 분업

분석 대상은 Qwen3-30B-A3B의 4·30·46번 계층이다. 연구진은 많은 잠재 특징에서 기여가 한두 전문가에 집중됐다고 보고했다. 자동 해석에서는 넓은 분야 안에서도 서로 다른 전문가가 관여하는 양상이 나타났다. Java와 프런트엔드 웹 코드, 기하와 산술·다항식이 그 예다. 이는 저자들의 실험 결과다. 이번 글에서 독립적으로 재현하지 않았다. 모든 MoE 모델에 같은 분업이 있다고 일반화할 근거로 쓰기에도 범위가 제한돼 있다. 논문 초록과 제출 이력을 함께 읽는 편이 좋다.

직접 살펴볼 때 드는 비용

공개된 SAE는 계층마다 2^20개의 잠재 특징을 둔다. k=100인 TopK 구조를 사용한다. 모델 카드에는 계층별 SAE 파일이 약 17.2GB라고 적혀 있다. 가중치 공개와 가벼운 실습은 별개다. 공식 모델 카드에서 파일 구성과 사용 예제를 확인할 수 있다.

저장소의 기여도 추적 예제는 transformers<5를 요구한다. 연구진은 bf16 기본 모델에 약 61GB, 추적 계층마다 fp32 SAE 인코더에 약 8GB가 더 필요하다고 안내한다. 세 계층을 한 번에 추적하려면 80GB GPU 두 장이 필요하다고도 안내한다. 모델 카드의 전체 SAE 파일 크기와 추적에 쓰는 인코더 메모리는 서로 다른 값이다. 코드와 SAE는 Apache-2.0으로 공개됐다. 분석에 쓰인 데이터와 외부 서비스에는 각각의 이용 조건이 적용된다. 설치·라이선스 안내를 먼저 확인해야 한다.

공개 자료로 확인할 수 있는 범위

개발자에게는 전문가의 선택 빈도와 실제 특징 기여를 따로 점검할 방법이 생겼다는 의미가 있다. 이 연구만으로 추론 비용 절감이나 모델 정확도 향상이 곧바로 입증되지는 않는다.

재현에도 빠진 부분이 있다. 저장소는 일부 전문가의 특징 설명만 공개한다. 활성화 문맥 등을 모아 설명을 만드는 전체 파이프라인은 포함하지 않았다고 밝힌다. 다른 전문가의 설명을 다시 생성하면 샘플과 설명이 달라져 논문 결과와 정확히 일치하지 않을 수 있다. GPU 실험을 시작하기 전에 공개된 설명·라벨·판정 자료부터 살펴보면 계산으로 얻은 기여도와 LLM이 붙인 의미를 나눠 읽는 데 도움이 된다. 공식 재현 안내에 공개 범위가 명시돼 있다.