vLLM 0.33.0: CUDA 배포 변경과 추론 서버 업그레이드 점검

모델 서빙 서버를 업데이트할 때는 새 기능보다 기존 배포 환경이 계속 맞는지부터 살펴야 한다. vLLM 0.33.0에서는 특히 NVIDIA 환경의 배포 파일이 바뀐다. 프로젝트는 릴리스 노트에서 CUDA 12.9용 휠과 별도 이미지 배포를 중단하고 CUDA 13.0 아티팩트를 사용한다고 밝혔다. 기존 이미지를 고정해 쓰는 팀이라면 모델 테스트에 앞서 드라이버와 이미지 호환성을 확인할 필요가 있다.

버전 표기에 주의

vLLM 공식 릴리스는 2026년 11월 2일 10:10 UTC에 게시됐다. 제목은 v0.33.0이지만 연결된 Git 태그는 v0.33.0rc3이다. GitHub API에서 이 릴리스의 prerelease 값은 false다. 별도로 PyPI의 vLLM 0.33.0 배포판과 Docker Hub 이미지 태그가 존재하는 것도 확인했다. 태그 이름만 보고 설치 파일의 버전을 추정하지 말고 사용하는 아티팩트를 직접 확인하자.

CUDA 12.9 이미지에 의존한다면

릴리스 노트에 따르면 CUDA용 배포 휠과 이미지는 13.0으로 전환됐으며 -cu129, -cu129-ubuntu2404 이미지는 더 이상 게시되지 않는다. 기본 CUDA 아티팩트 외에 AMD용 기본 이미지와 휠은 ROCm 10.0으로 이동하고 ROCm 7.2 아티팩트는 별도로 제공된다. 이는 릴리스에서 제공하는 파일의 변경이다. 모든 기존 CUDA 12 환경이 당장 작동하지 않는다는 뜻으로 확대할 수는 없다.

운영팀은 현재 이미지 태그와 드라이버, GPU 종류를 기록하고 테스트 환경에서 새 아티팩트를 먼저 기동해 볼 수 있다. 사용 중인 모델의 출력과 지연, 메모리 사용량도 기존 버전과 비교하자. 문제가 생겼을 때 되돌릴 이미지와 설정을 보관해 두는 편이 좋다. 여기서는 실제 설치나 하드웨어 호환성을 검증하지 않았다.

모델과 API에서 바뀐 점

이번 릴리스에는 Reflection Beam-1.0과 DFlash2 drafter, MiniCPM-OCR 1.0 등 여러 모델 지원이 포함된다. 또 지원되는 생성 모델에서 OpenAI 호환 /v1/decisions 엔드포인트가 기본 활성화된다고 릴리스 노트는 설명한다. 운영 API를 외부에 노출한다면 모델 지원 여부와 접근 제어를 배포 환경에서 확인해야 한다.

기존 설정도 살펴볼 부분이 있다. Medusa와 MLP speculator, 기존 Ray compiled-graph executor가 제거됐고 NIXL connector에는 NIXL 1.5 이상이 필요하다. 생성이 일시 중지된 동안 들어온 요청은 HTTP 503을 받는다. 이런 기능을 사용 중인 시스템은 클라이언트의 재시도와 장애 처리까지 함께 점검하는 것이 좋다.

릴리스 노트에는 추측 디코딩과 GPU별 최적화에 관한 성능 수치도 있다. 수치는 각 PR의 특정 모델과 하드웨어 조건에서 나온 프로젝트 측 측정치이며 모든 워크로드의 성능 향상을 보장하지 않는다. 실제 요청 길이와 동시성으로 직접 측정한 뒤 적용 여부를 정하자.

출처: vLLM 0.33.0 공식 릴리스 노트, PyPI 패키지, Docker Hub 이미지.