All posts

SageMaker KV 캐시 인식 라우팅: 지원 조건과 부하 분산의 동작

컨테이너의 실제 KV 캐시 상태와 부하를 함께 보고 요청을 분배한다. 지원 버전과 복제본 수, AWS 성능 실험의 조건을 살펴본다.

프롬프트 블록이 캐시 인덱스를 거쳐 일치하는 캐시를 가진 GPU 서버로 전달되는 개념도

AWS가 SageMaker AI 실시간 추론 엔드포인트에 KV 캐시 인식 라우팅을 추가했다. 출시 공지는 2026년 11월 16일, 설정을 설명한 기술 글은 17일에 나왔다. 긴 프롬프트를 반복해서 보내는 서비스라면 요청을 어느 인스턴스로 보낼지 다시 검토할 만하다.

캐시가 남아 있는 인스턴스를 찾는다

LLM은 프롬프트를 처리하며 계산한 키·값을 KV 캐시에 보관한다. 같은 앞부분을 다시 처리할 때 이 계산을 재사용한다. 여러 인스턴스가 요청을 나눠 받으면 필요한 캐시가 없는 곳으로 요청이 갈 수 있다.

기존 PREFIX_AWARE 방식은 요청 앞부분으로 목적지를 정한다. 인스턴스가 메모리를 확보하려고 캐시를 지워도 라우터는 실제 상태를 알지 못한다.

새 KV_AWARE 방식에서는 컨테이너가 캐시 저장과 삭제 이벤트를 보고한다. SageMaker는 이 이벤트로 관리 인덱스를 갱신한다. 라우터는 프롬프트와 일치하는 캐시 길이와 인스턴스 부하를 함께 고려해 목적지를 고른다. 조회가 늦거나 쓸 만한 일치 항목이 없으면 부하 기반 라우팅으로 요청을 처리한다. AWS 출시 공지에서 제공 상태를 확인할 수 있다.

설정 전에 확인할 조건

출시 시점에는 AWS vLLM Deep Learning Container의 vLLM 0.33.0 이상 등을 지원한다. 프리픽스 캐싱을 켜고 SM_VLLM_KV_EVENTS_CONFIG로 캐시 이벤트를 보내야 한다. 엔드포인트 구성에서는 RoutingStrategy를 KV_AWARE로 지정한다.

라우팅이 작동하려면 단일 모델 엔드포인트의 인스턴스가 최소 2개이거나 추론 컴포넌트 복제본이 최소 2개여야 한다. 목적지가 하나라면 설정해도 분배 효과는 없다. 요청은 지원되는 OpenAI 호환 Completions 또는 Chat Completions 형식이어야 한다. 기존 호출 API는 유지한다.

최대 개선 수치를 읽는 법

AWS는 Llama 3.1 70B Instruct를 ml.p5.48xlarge 7대에서 실행한 자체 실험을 공개했다. 무작위 라우팅과 비교해 p50 첫 토큰 지연 시간은 최대 97% 줄었고 처리량은 최대 234% 늘었다고 밝혔다. 이는 긴 프롬프트와 부하가 있는 조건의 결과다. 독립적으로 재현한 수치는 아니다.

짧은 프롬프트는 재사용할 계산량이 적다. 캐시를 조회하는 과정에도 시간이 든다. 도입을 검토한다면 실제 트래픽으로 첫 토큰 지연 시간과 처리량, 캐시 적중률을 함께 비교하는 편이 좋다. 출시 당시에는 부하 기반 라우팅으로 전환한 횟수를 콘솔이나 지표에서 따로 제공하지 않는다. 설정 예제와 검증 절차는 AWS 공식 기술 글에 있다.

Discussion

No comments yet