SIMPLE 추론 에너지 연구: 긴 문맥과 prefix cache의 비용을 나눠 읽기

캐시 적중률이 높아도 긴 문맥을 읽는 비용은 남는다. 볼로냐대·CINECA 연구진의 SIMPLE 논문은 이 비용을 입력 처리와 토큰 생성으로 나눠 계산한다. 2026년 11월 2일 제출됐고 11월 6일 AI Weekly에서 소개됐다. 학술지 투고 상태인 연구이며 새 추론 서비스 출시는 아니다. 논문 등록 정보

13배라는 수치의 비교 조건

논문은 H100 단일 GPU의 TensorRT-LLM 실행 기록으로 dense LLM 13종을 검증했다. 연구진이 보고한 예측 오차 MAPE는 11.97%다. 모델별로 따로 계수를 맞추지 않지만 하드웨어·프레임워크에 맞춘 계수는 쓴다.

에이전트 비용 분석은 Llama 3.1 8B와 출력 247토큰을 놓고 계산한 추정치다. 표 8은 입력 5K의 기준 요청, 입력 68K의 캐시 없는 요청, 같은 68K 중 63K를 캐시한 요청을 비교한다. 요청당 추정 에너지는 각각 138.1J, 1787.7J, 668.7J다. 기준 대비 약 13.0배와 4.8배다. Copilot 전체 서비스의 전력 실측값으로 읽으면 안 된다. 논문 7.3절·표 8

prefix cache는 입력을 다시 처리하는 prefill 비용을 줄인다. 그러나 출력 생성 단계에서는 전체 문맥의 KV 캐시를 계속 참조한다. 연구진의 계산에서는 캐시 적용 후 남은 에너지의 86%가 KV 캐시 항에 해당한다.

서비스에 적용할 때 먼저 기록할 항목

다음은 논문의 비용 분해를 개발 현장에 적용하기 위한 제안이다. 운영 서비스에서 검증된 절감 효과를 뜻하지 않는다.

요청 로그에는 새로 보낸 입력 토큰과 재사용한 문맥의 길이를 따로 남기는 편이 좋다. 비용 대시보드에 캐시 적중률만 있으면 매 단계에 얼마나 긴 문맥을 읽었는지 놓치기 쉽다. 같은 작업에 성공한 요청끼리 묶어 입력 길이, 출력 길이, 도구 호출 횟수와 지연 시간을 함께 비교할 수 있다.

예를 들어 검색 결과를 모두 누적하는 방식과 필요한 부분만 남기는 방식을 비교한다면 답의 정확성도 동시에 검사해야 한다. 문맥을 줄여 에너지를 아끼더라도 누락 때문에 재시도가 늘면 작업 전체의 비용은 달라진다. 이 비교에서는 요청 한 번의 숫자와 작업 완료까지의 합계를 별도로 두는 편이 해석하기 쉽다.

검증 범위

논문은 MHA·GQA를 쓰는 dense 모델의 단일 GPU 추론을 다룬다. MoE, 배치 크기와 동시 요청 수, 다중 GPU 통신 비용은 검증 범위에서 빠져 있다. 이 글에서도 실험을 독립 재현하지 않았다. 자체 서버의 소비 에너지를 추산하려면 사용 중인 장비와 추론 엔진에서 다시 측정해야 한다. 논문 결론의 제한사항