FP4 사전학습 연구: 손실값이 놓친 드문 사실의 학습 비용

Chang Lu와 Mengjiao Zhang은 11월 9일 공개한 논문에서 NVFP4 사전학습이 드문 사실을 익히는 데 BF16보다 더 많은 노출을 요구했다고 보고했다. 연구진은 합성 인물 소개를 단독으로 학습시키거나 웹 텍스트에 섞어 비교했다. 검증 손실값이 가까워도 사실 회상 성능에는 차이가 있었다. 논문 초록과 제출 이력에서 발표일과 실험 요약을 확인할 수 있다.

같은 회상 성능에 필요한 노출

연구진이 보고한 NVFP4의 노출 배수는 합성 데이터에서 1.32배, 웹 텍스트 혼합에서 1.52배였다. 해당 비교의 검증 손실값 차이는 각각 약 0.5%와 2%였다. 두 모델의 추론 행렬곱을 BF16으로 맞추면 노출 배수는 1.26배와 1.30배로 줄었다. 같은 손실값에서 비교한 주요 평가에서는 약 1.2배였다.

노출 배수는 같은 회상 성능에 도달하려면 사실을 몇 번 더 보여줘야 하는지 나타내는 지표다. 연구진은 주로 속성값의 첫 토큰을 맞혔는지 평가했다. 수치를 읽을 때 학습 데이터와 추론 정밀도 조건을 함께 봐야 한다. 논문 본문 2~4절에 정의와 평가 조건이 나온다.

하드웨어 속도와 구분할 결과

연구진은 4비트로 양자화한 피연산자를 FP32로 곱해 행렬곱을 모사했다. 실제 Blackwell 커널과의 비트 단위 일치나 네이티브 FP4 처리량은 검증하지 않았다. 따라서 1.52배를 학습 시간이나 GPU 비용의 배수로 읽을 수 없다. 이 결과는 연구진의 실험 보고이며 이 글에서 독립 재현하지 않았다.

학습 평가에 반영할 항목

저정밀도 사전학습을 검토하는 개발자라면 검증 손실값과 드문 사실의 회상 성능을 함께 기록하는 방법을 고려할 만하다. 자체 평가에서는 사실별 노출 횟수를 통제하고 추론 정밀도를 맞춰 비교하는 편이 좋다. 실제 배포 비용은 해당 하드웨어에서 처리량을 따로 측정해야 판단할 수 있다. 이는 논문의 실험 조건을 바탕으로 한 적용 제안이다.