LLM 응답을 빠르게 만들 때 쓰는 추측 디코딩도 배포 환경에 따라 병목이 달라진다. 요청이 하나일 때 효과가 있던 최적화가 여러 요청을 묶으면 오히려 느려질 수 있다. SpecPilot 연구는 이런 차이를 비용 모델로 찾고 코딩 에이전트가 환경별 개선안을 탐색하도록 구성했다.
UC 버클리와 프린스턴, 스탠퍼드, NVIDIA 소속 연구진은 11월 2일 논문을 arXiv에 제출했다. 아직 연구 논문이며 아래 성능 수치는 연구진의 실험 결과다. 독립 재현 여부는 확인하지 못했다.
먼저 추측하고 대상 모델이 확인한다
추측 디코딩에서는 가벼운 초안 모델이 다음 토큰 후보를 제안하고 대상 모델이 후보를 한 번에 검증한다. 연구진은 여러 토큰을 한 번에 제안하는 병렬 초안 모델에 주목했다. 요청이 하나라면 대상 모델의 가중치를 읽는 데 시간이 많이 들지만 배치가 커지면 요청별 검증 작업의 부담이 커진다. 따라서 같은 방법을 모든 배포에 적용하기 어렵다.
SpecPilot은 측정한 실행 시간과 추정 성능 상한의 차이에서 병목을 찾는다. 여러 에이전트가 각자 개선 방향을 탐색하고 별도 컨트롤러가 보지 못한 요청에서 속도 향상을 확인한 변경을 채택한다. 검증된 기법과 코드는 구조화된 메모리에 남겨 다음 실험에 활용한다. 연구진은 병렬 탐색에 GPU를 사용했다.
속도만 빨라진 수정은 어떻게 걸러낼까
속도만 보상하면 출력이 달라지는 지름길을 택할 수 있다. 연구진은 이를 막기 위해 기존 시스템의 토큰을 각 단계의 입력으로 강제하며 출력 차이를 확인하는 token forcing을 사용했다. 작업 정확도 점수만으로는 드러나지 않는 차이를 찾아내려는 시험이다. 다만 시험에서 차이를 찾지 못한 것이 모든 가능한 입력에서 동일하다는 보증은 아니다.
연구진이 제시한 결과에는 가중치 읽기를 줄이는 무손실 12비트 형식 W12, 후보 트리 검증, 저정밀도 사전 확인을 이용한 2단계 검증과 배치 처리 기법이 포함된다. 이 가운데 저정밀도 사전 확인은 단일 요청에서는 도움이 됐지만 논문에 나온 BF16 Qwen3.8-27B 배치 실험에서는 추가 검증 비용 때문에 13% 느려졌다. 환경에 맞춰 측정해야 한다.
숫자를 읽을 때 확인할 조건
연구진은 대상 모델 4종, 초안 모델 3종, GPU 플랫폼 2종과 벤치마크 5종을 사용했다. 자기회귀 디코딩을 기준으로 한 속도 배율은 연구진의 요약에서 단일 요청 시 기존 시스템 4.46배에서 SpecPilot 적용 후 10.87배, 배치 처리 시 1.94배에서 3.93배였다. 두 수치는 자기회귀 기준에 대한 배율이지, 기존 추측 디코딩이 각각 10.87배와 3.93배 빨라졌다는 뜻은 아니다.
운영 환경에 적용하려면 사용하는 모델과 GPU, 동시 요청 수, 입력과 출력 길이를 기준으로 지연 시간과 처리량을 직접 측정해야 한다. 최적화 탐색에 필요한 GPU 시간도 비용에 포함해야 한다. 연구 코드를 검토하려면 논문에 연결된 프로젝트 저장소와 논문 전문을 함께 보는 편이 좋다.
Discussion
No comments yet