All posts

CurvDelta 연구 공개: 코드 학습 점수와 기존 능력 보존의 조건

CurvDelta·CurvLoRA의 학습 구조와 Llama-2-7B 실험을 살펴본다. 코드 점수 상승과 기존 능력 손실을 함께 비교하고 보존 정리의 적용 조건을 확인한다.

저곡률 곡면의 골짜기를 따라 움직이는 경로와 고정된 가중치 행렬을 표현한 CurvDelta 개념도

CurvDelta 연구진이 11월 18일 추가 학습 중 기존 능력의 손실을 줄이는 방법을 arXiv에 공개했다. CurvDelta는 가중치 변화량을 정해진 저곡률 공간 안에 두고 학습한다. 연구진은 같은 원리를 쓰는 저랭크 방식 CurvLoRA도 제안했다. 논문 최초 제출 시각은 2026년 11월 18일 15:56:20 UTC다. 공식 논문 정보

어떤 변화를 허용할까

모델에 새 작업을 가르치거나 특정 지식을 잊게 할 때는 다른 능력이 얼마나 달라지는지도 살펴야 한다. 연구진은 보존할 데이터에서 원래 모델의 출력과 달라지는 정도를 보존 손실로 정의했다. 이 손실이 적게 바뀌는 가중치 방향을 골라 학습 공간을 만든다.

CurvDelta는 기본 가중치와 투영을 고정한 채 변화량을 학습한다. CurvLoRA는 같은 보존 공간에서 저랭크 변화량을 학습한다. 연구진은 K-FAC 근사와 분해된 투영으로 계산을 줄였다. 이 구조는 공식 프로젝트의 개요에서도 확인된다. 공식 프로젝트

코드 점수와 기존 지식 점수를 함께 보기

연구진은 Llama-2-7B로 코드 생성 실험을 했다. 논문 표 2의 코드 평균은 HumanEval과 MBPP, 보존 평균은 TriviaQA·NQ-Open·MMLU를 묶은 값이다.

| 방법 | 코드 평균(%) | 보존 평균(%) |

| --- | --- | --- |

| 추가 학습 전 | 15.9 | 45.6 |

| 전체 미세조정(FT) | 38.5 | 40.4 |

| LoRA | 38.2 | 44.0 |

| CurvLoRA | 38.9 | 43.5 |

| CurvDelta | 40.5 | 44.4 |

이 실험에서 CurvDelta는 FT보다 두 평균이 모두 높았다. 다만 추가 학습 전 보존 평균 45.6%에는 못 미쳤다. CurvLoRA의 보존 평균도 LoRA보다 낮았다. 모든 방식과 모든 지표에서 새 방법이 앞선다고 읽을 수는 없다. 수치는 연구진 보고이며 이번 글에서 학습을 재현하지 않았다. 논문 표 2

보존 보장의 조건

논문은 보존 손실의 국소 이차 근사와 블록 대각 K-FAC 모델 아래에서 보존 조건을 제시한다. 보존 여부는 남긴 공간의 곡률과 실제 변화량의 크기에 함께 달려 있다. 따라서 공간을 제한했다는 설명만으로 모든 입력에서 기존 답변을 보장한다고 해석해서는 안 된다. 논문 3.4절

연구진은 선택적 언러닝도 TOFU와 MUSE로 평가했다. 이 결과는 지정한 지식을 잊는 정도와 나머지 지식을 유지하는 정도를 함께 따진 연구 결과다. 독립 검증이나 제품의 삭제 보장을 확인한 결과로 확대할 근거는 이번에 확인하지 못했다. 공식 초록

개발팀이 이 방식을 시험한다면 보존할 데이터와 비교 기준부터 정하는 편이 좋다. 새 작업의 점수와 기존 작업의 점수를 따로 측정해야 손실을 가리지 않을 수 있다. 이는 논문 결과를 바탕으로 한 도입 검토 제안이다. 실제 서비스의 효과는 별도 실험으로 확인해야 한다.

Discussion

No comments yet