WSP-Scope: 가중치 1,023개 편집 성과와 16개 탐색의 편차

가중치를 조금 고쳐도 성능이 크게 오를 수 있을까. WSP-Scope 연구진은 작은 모델에서 그런 결과를 얻었지만 같은 방법을 반복했을 때의 편차도 함께 보고했다. 모델을 배포하는 개발자라면 최고 점수와 함께 수정본을 버린 사례를 볼 필요가 있다.

11월 6일 공개된 후속 평가

상하이 AI 연구소·퉁지대·푸단대 연구진의 논문은 2026년 11월 6일 공개됐다. 11월 9일 브리핑에서 발견했으며 앞선 MIT의 WSP 제안을 여러 과제로 평가한 별도 연구다. Qwen3.5-0.8B와 9B, 일곱 벤치마크에 걸쳐 16개 편집 탐색을 분석했다. 논문 및 제출 이력

1,023개를 고친 결과와 원본을 남긴 결과

저자 보고에 따르면 0.8B 모델의 수학 실험은 BF16 가중치 값 1,023개를 바꿔 MATH-500 점수를 8.35%에서 37.80%로 높였다. 차이는 29.45%포인트다. 수학 탐색을 달리한 두 실행의 상승 폭은 5.00과 27.30%포인트였다. 16개 탐색 중 여섯 개는 최종적으로 원래 가중치를 선택했다. 이 글에서는 실험을 독립 재현하지 않았다. 논문 표 2·분석

수정한 값의 수만으로 탐색 비용을 판단하기도 어렵다. 연구는 탐색마다 성공한 forward 도구 요청을 50개까지 허용했으며 한 요청에는 여러 문항과 샘플을 담을 수 있었다. ‘가중치 1,023개’가 추론 비용까지 작다는 뜻은 아니다. 실험 프로토콜

적용 전에 필요한 비교

개발자는 여기서 얻은 실무적 교훈에 따라 수정본의 채택 기준을 먼저 정할 필요가 있다. 다음은 이 연구를 읽고 제안하는 평가 절차이며 저자가 입증한 운영 성과는 아니다.

• 수정 위치를 찾을 때 쓸 문항과 마지막 판정에 쓸 문항을 분리한다.
• 목표 과제뿐 아니라 서비스에서 유지해야 할 다른 기능도 같은 조건으로 비교한다.
• 점수가 올라도 반복 실행의 편차와 평가 비용을 기록한다.
• 개선을 확인하지 못하면 원본을 유지하는 선택을 허용한다.

이 절차를 생략하면 특정 문항에 맞춘 수정과 서비스 전체의 개선을 혼동하기 쉽다. 작은 수정본도 배포 승인을 따로 받아야 할 모델 변경으로 취급하는 편이 합리적이다.

논문 공개와 실행 코드 공개는 다르다

확인 시점의 공식 GitHub 저장소에는 논문 PDF만 있었다. 실행 코드나 수정 체크포인트가 공개됐다고 안내할 근거는 확보하지 못했다. 따라서 이 결과를 곧바로 설치해 쓰는 도구로 소개하기보다는 재현 자료를 기다리며 평가 설계를 검토할 연구로 읽는 것이 맞다.