Strata KV 스플라이스 실험: 로컬 코딩 에이전트의 프롬프트 재처리 줄이기

로컬 코딩 에이전트에서 새 세션을 열 때마다 긴 시스템 프롬프트를 다시 읽어야 한다면 답변이 시작되기까지 시간이 걸린다. 추론 엔진 Strata의 한 기여자는 변경된 구간을 건너뛰고 기존 KV 캐시를 재사용하는 방법을 제안했다. 11월 1일 열린 프로젝트 이슈에 공개된 실험이며 정식 기능으로 병합된 릴리스는 아니다.

작은 변경이 긴 재처리로 이어질 때

코딩 에이전트는 작업 경로, 날짜, 프로젝트 지침, 도구 설명을 프롬프트에 넣는다. 이 중 앞부분이 바뀌면 뒤에 같은 내용이 남아 있어도 접두사 기반 캐시는 그 지점부터 재사용하지 못한다. 도구 설명이 많은 환경에서는 이 때문에 세션을 새로 열 때 긴 입력을 다시 처리할 수 있다.

제안된 KV 스플라이스는 새 프롬프트와 보관된 대화 상태에서 공통 구간을 찾아 재사용하고 바뀐 부분은 별도로 처리한다. 토큰을 중간에서 자르지 않도록 변경 내용을 줄 단위로 옮긴다는 설명이다. 이는 일반적인 접두사 캐시보다 더 많은 상태를 재사용하려는 실험이다.

수치는 한 개발자의 특정 환경에서 나온 결과

제안자는 OpenCode와 MCP 서버 여섯 개를 연결한 환경에서 기본 Strata 0.1.55가 새 프로젝트 세션의 약 3만 7천 토큰을 읽는 데 100.3초가 걸렸고 스플라이스를 적용한 실험에서는 약 3만 6천 토큰을 재사용해 26.0초가 걸렸다고 보고했다. 서로 다른 실행을 비교한 측정이며 이 결과를 모든 환경의 속도 향상으로 일반화할 수 없다. 독립 재현도 확인하지 못했다.

시험 장비는 RX 9070 XT 16GB, Ryzen 7 5800X3D, DDR4 메모리 64GB였고 DeepSeek V4.1 Flash의 양자화 모델과 HIP 빌드를 사용했다. CUDA, SYCL, Metal은 시험하지 않았다. 숫자를 비교할 때 모델 파일과 프롬프트 구성, 저장 장치, 캐시 상태도 함께 살펴봐야 한다.

재사용에는 정확도와 맥락의 대가가 있다

이 방법은 완전히 같은 입력을 다시 계산하는 것과 다르다. 잘라낸 내용 뒤에 있는 캐시 상태는 원래 삭제 전의 내용을 보고 계산됐고 이동한 줄은 원래와 다른 순서로 읽힌다. 제안자는 짧은 지침에서는 답변에 영향이 보이지 않았다고 했지만 이슈에서는 옵션 사용 전후의 품질 벤치마크를 아직 수행하지 않았다고 명시했다.

따라서 중요한 코드 변경이나 보안 판단에 곧바로 적용하기보다 동일한 작업과 프롬프트를 준비해 캐시 사용 전후의 결과와 첫 토큰까지 걸린 시간을 함께 비교하는 편이 낫다. 속도가 빨라져도 빠진 지침을 모델이 따르지 못한다면 실익이 줄어든다.

지금 사용할 수 있는 범위

원 프로젝트 이슈에서 제안된 기본값은 비활성화다. 기여자의 별도 실험 브랜치에서는 기본 활성화되어 있으며 이슈에 따르면 HIP의 gfx1201에서만 빌드와 테스트가 이뤄졌다. 원 프로젝트 이슈는 열려 있고 이슈 페이지에는 연결된 풀 리퀘스트가 표시되지 않는다. 운영 환경의 기본 기능으로 받아들이기보다 실험용 변경으로 취급해야 한다.

같은 작성자가 제안한 상주 전문가 라우팅 이슈도 있지만 프롬프트 처리 때 선택하는 전문가를 바꾸므로 캐시 재사용과는 별도로 품질을 평가해야 한다. 두 최적화의 효과를 합쳐 단일 기능의 성능으로 해석하지 않는 것이 좋다.

출처: Strata KV 스플라이스 제안과 실험 조건, 상주 전문가 라우팅 제안.