SGLang-Neuron 공개 프리뷰: Trainium 서빙의 버전·컴파일·요청 조건

AWS가 2026년 11월 12일 SGLang-Neuron을 공개했다. RadixArk와 Annapurna Labs가 협력한 이 플러그인은 SGLang의 서버 실행 방식과 생성 API를 AWS Trainium에 연결한다. 공식 저장소는 이번 릴리스를 공개 프리뷰로 명시한다. 기능과 API, 지원 모델은 이후 바뀔 수 있다. AWS 발표, 공식 저장소

기존 SGLang을 쓰는 팀이라면 클라이언트 요청 형식을 유지하면서 Trainium 배포를 검토할 수 있다. 다만 실제 실행에는 지정된 하드웨어와 소프트웨어 조합이 필요하다. 현재 공개된 문서에서 이전할 때 확인할 조건을 살펴봤다.

익숙한 API 아래의 실행 계층

SGLang 코어는 API 서버와 요청 수명 주기, 스케줄러를 맡는다. 플러그인은 Trainium용 모델 실행과 어텐션, KV 캐시 메모리, 그래프 실행기를 제공한다. 직접 개발 환경을 구성할 때는 SGLANG_PLATFORM=neuron으로 플랫폼을 고른다. 공식 컨테이너는 이 설정을 포함한다. 저장소 README

별도 프리필 서버가 입력을 처리하고 디코드 서버가 토큰을 생성하는 구성도 지원한다. 두 서버는 NIXL과 EFA로 KV 캐시를 주고받는다. 이 기능을 배포하려면 노드 사이의 EFA 연결 조건도 확인해야 한다. API 호출 모양이 같아도 실행 환경까지 같아지는 것은 아니다.

고정 버전과 지원 모델부터 확인하기

README에 따르면 LLM은 Trn3에서, 확산 모델은 trn2.48xlarge에서 실행한다. 요구 환경은 Neuron SDK 2.33.0과 Neuron 드라이버 aws-neuronx-dkms 2.31.7.0 이상이다. 소스 설치에는 Python 3.11 이상도 필요하다.

SGLang 리비전은 43881a7로 고정돼 있다. 플러그인은 다른 리비전에서 시작을 중단한다. 따라서 사용 중인 SGLang에 플러그인만 추가하기 전에 이 버전 조건을 확인해야 한다. 저장소는 Apache-2.0 라이선스로 공개돼 있다. 모델 가중치의 이용 조건은 각 체크포인트에서 별도로 확인해야 한다. 지원 모델과 요구 환경

첫 시작과 정상 요청을 구분하기

공식 Quickstart는 Qwen3-8B를 예로 든다. 체크포인트를 /models/Qwen3-8B에 준비하고 지정 컨테이너 안에서 실행하는 명령이다.

python3 -m sglang.launch_server \
  --model-path /models/Qwen3-8B --tp-size 4 --context-length 4096 --chunked-prefill-size 2048 \
  --max-running-requests 64 --max-total-tokens 266240 --mem-fraction-static 0.6

서버는 그래프를 컴파일하고 워밍업을 마친 뒤 /health에 응답한다. 새 컴파일 캐시로 시작할 때는 이 준비 시간이 든다. 같은 실행 플래그로 다시 시작하면 캐시를 재사용한다. 운영 시험에서는 첫 시작에 걸린 시간과 준비 완료 후 응답 지연을 따로 측정하는 편이 좋다. 공식 Quickstart

요청 설정에도 제약이 있다. 기본 샘플러는 greedy이며 요청은 temperature를 0으로 지정하거나 top_k를 1로 지정해야 한다. 서버는 temperature를 생략한 요청도 거부한다. 확률 샘플링을 쓰려면 실행할 때 SGLANG_NEURON_SAMPLER=temperature 또는 topk_topp를 설정해야 한다. 기존 클라이언트가 기본값에 의존한다면 이 조건부터 점검해야 한다.

도입 시험에서 남겨야 할 기록

현재 README의 미지원 목록에는 LoRA, 임베딩 서버, SGLang의 가중치 갱신 엔드포인트가 들어 있다. AWS가 RL rollout 생성을 활용 범위로 소개하더라도 학습 중 가중치를 갱신하는 기존 파이프라인까지 그대로 옮길 수 있다고 가정하면 안 된다. 미지원 기능 목록

이 글은 공식 문서를 대조했으며 Trainium에서 명령을 실행하거나 성능을 독립 재현하지 않았다. 도입 시험에서는 체크포인트와 컨테이너 버전, 실행 플래그를 함께 기록하고 첫 시작 시간·준비 완료 후 지연·동시 요청 처리량을 구분해 비교할 수 있다. 비용 절감 여부도 해당 작업과 인스턴스 조건에서 따로 측정해야 한다.