DGX Station 두 대로 GLM-5.3 서빙: 607.8 tok/s의 측정 조건

NVIDIA가 11월 13일 GLM-5.3 NVFP4를 DGX Station 두 대에서 실행하는 vLLM 가이드를 공개했다. 가이드의 구성은 ConnectX-8 RDMA로 두 장비를 연결하고 텐서 병렬화(TP=2)로 가중치를 나눈다. GPU 메모리는 서로 구분된다. 두 장비가 함께 각 요청을 처리한다. 공식 가이드

607.8 tok/s를 읽는 조건

NVIDIA의 SPEED-Bench Coding 측정에서 동시 요청 16개의 전체 출력 처리량은 607.8 tok/s였다. 평균 요청 지연은 136.46초다. 동시 요청 32개에서는 처리량이 385.0 tok/s로 줄고 평균 지연은 453.54초로 늘었다. 이 수치를 사용자 한 명의 생성 속도로 읽으면 안 된다.

측정에는 prefix caching, FP8 KV 캐시와 단계당 MTP 초안 토큰 4개가 적용됐다. 토큰 수에는 추론 토큰도 포함된다. 회사가 공개한 측정이며 CodeDeck은 독립 재현하지 않았다.

실행 전에 확인할 항목

약 464 GB 체크포인트를 각 장비의 디스크에 저장하며 CPU 가중치 오프로딩은 사용하지 않는다. NVIDIA는 Linux 기반 GB300 DGX Station 두 대와 RDMA 연결 검증을 요구한다. 설치 예제는 vLLM v0.30.0 컨테이너와 모델 리비전을 고정한다.

외부에 API를 열기 전에는 인증과 TLS를 추가해야 한다. 예제의 --host 0.0.0.0은 인증 없는 API를 모든 인터페이스에 노출한다. 공식 모델 카드의 NVIDIA Open Model Agreement와 원본 GLM-5.3 조건도 함께 확인해야 한다.

자체 도입을 검토한다면 실제 프롬프트로 동시 요청 수별 처리량과 지연을 다시 재는 편이 좋다. 이 결과만으로 구매 비용 대비 이득이나 서비스 응답 시간을 보장할 수는 없다.