GroupClip 연구: 게이트 기반 언어 모델의 조용한 학습 정체

학습 로그가 계속 쌓여도 모델의 가중치가 매 단계 갱신되는 것은 아니다. 11월 3일 공개된 연구는 일부 게이트 기반 언어 모델에서 입력 임베딩이 0에 가까울 때 기울기가 폭증하고 이를 제한하는 과정에서 한 배치의 갱신이 사라질 수 있다고 보고했다. 연구진은 이미 공개된 체크포인트를 위한 GroupClip과 사전학습 구조를 바꾸는 GateFloor를 제안했다.

어떤 조건에서 생기는가

연구진은 공개 가중치 모델 저장소 291개, 서로 다른 임베딩 테이블 280개를 조사했다. 입력과 출력 임베딩을 공유하지 않는 게이트·하이브리드 체크포인트 38개 중 20개에서 노름이 10⁻⁶ 미만인 도달 가능한 입력 임베딩을 발견했다. 비교 대상인 가중치 공유 모델에서는 발견하지 못했다. 이는 조사한 표본의 결과다. 전체 공개 모델의 장애 비율로 해석할 수는 없다.

논문에 따르면 드물게 쓰이거나 학습에 등장하지 않은 토큰의 입력 임베딩은 기울기를 거의 받지 못하는 동안 AdamW의 가중치 감쇠로 작아질 수 있다. Mamba, Gated DeltaNet, xLSTM 같은 모델에서는 해당 토큰이 입력될 때 역전파 기울기가 극단적으로 커질 수 있다. 연구진은 특정 Transformer 실험에서는 첫 위치가 아니거나 BOS 토큰이 있으면 같은 실패가 발생하지 않았다고 밝혔다. 모델 구조와 입력 위치가 중요하다.

로그는 남는데 갱신은 사라질 수 있다

기울기 클리핑은 지나치게 큰 기울기를 제한하는 방법이다. 연구진은 FP32 전역 노름 계산이 오버플로해 무한대가 되면 현재 배치의 기울기가 0으로 처리될 수 있다고 설명한다. 예외 없이 학습이 계속되면 실행 중이라는 사실만으로 정상 갱신을 확인하기 어렵다.

연구진이 Nemotron-3-Nano-4B로 텔루구어 지속 사전학습을 진행한 실험에서는 약 20%의 단계에서 갱신이 사라졌다. 이 비율은 해당 모델과 데이터, 실험 설정에서 나온 값이며 모든 언어나 학습 작업에 일반화할 수 없다. 논문은 기울기 증폭과 오버플로를 연구진이 측정한 결과로 제시한다. 독립 재현은 확인하지 못했다.

GroupClip과 운영 점검

GroupClip은 입력 임베딩의 기울기를 나머지 모델과 분리해 클리핑하고 노름 계산에 64비트 또는 스케일을 조정한 방식을 사용한다. 연구진은 텔루구어 실험에서 스케일 조정 구현으로 갱신 손실을 없앴다고 보고했다. GateFloor는 새 모델의 사전학습을 겨냥해 게이트에 작은 양의 값을 더하는 제안이다. 최대 370M 파라미터 실험에서 나온 결과이므로 대형 모델에도 그대로 적용된다고 가정해서는 안 된다.

모델을 이어서 학습하는 팀이라면 사용 중인 체크포인트의 입력 임베딩 노름, 데이터에 등장하는 토큰과 위치, 기울기 노름의 무한대 기록 및 실제 가중치 갱신 여부를 함께 살펴볼 만하다. GroupClip을 적용하기 전에는 자신의 분산 학습·혼합 정밀도 환경에서 재현 실험과 회귀 검증이 필요하다. 이번 연구는 사전 공개 논문이며 제안된 수정이 모든 학습 프레임워크와 모델에 검증됐다는 뜻은 아니다.

출처: 연구 논문과 실험 자료, arXiv:2611.04449.