TPU Sync 공개: KV 캐시 전송 성능과 설치 버전을 확인하는 법

Google Cloud가 2026년 11월 9일 TPU Sync를 공개했다. 이 C++ 라이브러리는 TPU에서 대규모 언어 모델을 서비스할 때 KV 캐시와 가중치를 옮긴다. KV 캐시는 모델이 앞서 처리한 문맥을 다시 계산하지 않도록 저장하는 데이터다. 공개 소식은 11월 14일 브리핑에도 등장했지만 공식 발표일은 9일이다. Google Cloud 공식 발표

캐시를 옮기는 경로

TPU Sync는 칩의 HBM과 호스트 DRAM, 다른 노드 사이에서 데이터를 옮긴다. 비동기 DMA 전송으로 데이터 이동과 TPU 계산을 겹친다. 프롬프트를 먼저 처리하는 prefill 노드와 토큰을 생성하는 decode 노드를 나눈 환경에서는 두 노드 사이의 KV 캐시 전달을 맡는다. 호스트 DRAM을 캐시로 쓰면 칩 메모리 밖에서도 처리한 문맥을 보관할 수 있다. 공유 저장소로 캐시를 내보내는 기능과 강화학습 전송 모듈은 실험 단계다. 구조와 적용 범위

90%라는 수치의 시험 조건

Google은 내부 시험에서 Qwen3 235B의 KV 전송 지연 중앙값이 수 초에서 약 230ms로 줄었다고 보고했다. 낮은 동시성 조건에서 첫 토큰까지 걸리는 시간인 TTFT는 235B 모델에서 평균 60%, 480B 모델에서 평균 90% 줄었다. 서로 다른 모델과 조건의 결과를 모든 요청에 적용할 수는 없다.

시험은 2026년 7월 TPU v7x에서 진행됐다. Google은 시스템 구성, 네트워크 대역폭, 동시 요청과 워크로드에 따라 실제 결과가 달라진다고 밝혔다. CodeDeck은 이 성능을 별도로 재현하지 않았다. 성능 결과와 시험 환경 각주

설치 전에 고정할 버전

공식 저장소는 Apache-2.0 라이선스를 사용한다. 11월 14일 갱신된 커밋의 README는 API가 빠르게 바뀐다고 설명한다. 운영 배포에서는 main을 그대로 따라가기보다 태그나 lkg.version의 검증 커밋을 고정하라고 권한다. 검증·최적화 대상으로 명시한 하드웨어는 Cloud TPU v7x와 v6e다. 소스 빌드 안내는 Python 3.12와 Bazel 8.6.0을 기준으로 한다. 확인한 README

설치 패키지 이름도 확인해야 한다. 현재 README는 이전 이름인 tpu-raiden-jax와 tpu-raiden-torch를 프로젝트가 PyPI에서 관리하지 않는다고 경고한다. PyPI와 사설 저장소를 --extra-index-url로 섞으면 pip는 전체 저장소에서 가장 높은 버전을 고른다. README는 이 방식이 의존성 혼동 공격에 노출될 수 있다고 설명한다. 공개 코드를 확인한 것과 안정 배포판의 설치·동작을 검증한 것은 별개다. 설치 이름과 저장소 주의사항