SageMaker FFT 실험 공개: 코드 평가 점수와 기존 능력 손실을 함께 보기
AWS가 공개한 FFT·LoRA 비교 실험의 평가 방식을 살핀다. 8월 기능 출시와 11월 실험 공개를 구분하고 코드 점수와 기존 능력 손실을 함께 확인한다.

AWS가 11월 18일 공개한 SageMaker 전체 미세조정(FFT) 실험은 코드 생성 성능과 기존 능력의 손실을 함께 다룬다. FFT는 모델 전체 가중치를 갱신한다. LoRA는 기본 가중치를 고정하고 작은 어댑터를 학습한다.
기능 출시일과 실험 글의 공개일은 구분해야 한다. AWS의 최초 지원 공지는 8월 3일이다. 이번 소식은 11월 18일에 나온 비교 실험과 설정 지침이다.
점수를 읽기 전에 확인할 평가 조건
AWS는 Qwen3-4B와 Magicoder-Evol-Instruct-110K를 사용했다. 데이터 110,000건을 학습 99,000건, 검증 5,500건, 테스트 5,500건으로 나눴다. LoRA와 FFT에는 같은 프롬프트·정답·평가 코드를 적용했다고 설명한다.
의미적 정답 여부는 Amazon Nova Pro가 채점했다. PRIMECODE는 참조 코드와의 텍스트 유사도를 측정했다. MMLU는 일반 지식의 보존 정도를 살폈다. 모델 채점과 문자열 유사도는 실제 코드 실행 성공률과 구분해서 읽어야 한다.
AWS는 FFT의 모델 채점 점수가 3에포크에서 90.0%에 도달했다고 보고했다. 또 다른 비교에서는 LoRA 81.5%, FFT 79.5%로 순서가 바뀐다. 이 값들은 AWS의 자체 실험 결과다. 서로 다른 설정의 점수를 하나의 고정된 우열로 합치기는 어렵다.
서버 관리와 평가 책임
서비스가 연산 자원 배정과 체크포인트 관리를 맡는다. 사용자는 기본 모델과 데이터, 하이퍼파라미터를 정한다. 서버 관리 부담이 줄어도 학습 결과를 고르는 일은 남는다.
AWS는 과도한 학습률에서 기존 능력이 떨어졌다고 보고했다. 해당 실험에서는 FFT와 LoRA 모두 MATH 정확도가 기본 모델보다 낮았다. 코드 과제의 점수가 올랐다는 사실만으로 추론 능력까지 좋아졌다고 볼 수 없다.
도입 검토에서는 같은 평가 데이터로 LoRA와 FFT를 비교하는 편이 좋다. 코드 실행 테스트와 일반 능력 평가를 따로 두면 어느 쪽을 잃는지 판단하기 쉽다. 이는 위 실험을 바탕으로 한 운영 제안이다. 이 글에서는 AWS 학습 작업을 실행하거나 성능을 독립 재현하지 않았다.



Discussion
No comments yet