LLM Architecture Gallery로 읽는 하이브리드 어텐션과 KV 캐시

Sebastian Raschka가 Reddit에 공유한 어텐션 구조 비교는 긴 문맥을 처리할 때 어떤 계층이 계산과 메모리를 맡는지 살피는 출발점이다. 저자는 자신이 정리한 모델들에서 전역 어텐션을 일부만 쓰거나 다른 방식과 섞는 흐름을 관찰했다. 이 관찰의 범위는 저자의 표본이다. 모든 공개 모델이 같은 구조로 바뀌었다고 단정할 근거는 아니다.

비교에 쓴 LLM Architecture Gallery에는 조회 당시 122개 모델이 실려 있었다. 갤러리는 텍스트 LLM과 언어 모델의 본체를 중심으로 정리한다. 멀티모달 모델을 다뤄도 시각·음성 구성 요소 전체를 설명하는 자료로 읽어서는 안 된다.

최근 공유와 갤러리 갱신일 구분하기

저자의 Reddit 게시물은 조회 당시 ‘1시간 전’으로 표시됐다. 정확한 게시 시각은 확인하지 못했다. 공식 변경 이력의 최신 항목은 2026년 11월 10일이며 LongCat-2.5와 Arete-27B 추가를 기록한다. 이번 공유를 갤러리 최초 공개나 새 모델 출시로 소개할 수는 없다.

계산량과 문맥 저장량을 나눠 보기

저자는 계산을 줄이는 방식과 메모리를 줄이는 방식을 구분한다. 희소 어텐션은 문맥의 토큰이나 블록을 골라 어텐션을 계산한다. 멀리 떨어진 위치를 선택할 수도 있으므로 국소 범위만 본다는 뜻은 아니다.

Gated DeltaNet 같은 순환 계층은 문맥 길이에 대해 크기가 고정된 상태를 유지한다. 저자는 이 압축이 과거 정보를 정확히 찾는 데 어려움을 만들 수 있다고 설명한다. 이를 어텐션 계층과 섞는 구조도 함께 살펴야 한다. 여기서 소개하는 내용은 저자의 구조 분석이며 별도 성능 재현 실험을 수행한 결과는 아니다.

KV 캐시 숫자는 GPU 실측값과 구분하기

갤러리의 KV 캐시 계산 설명은 배치 크기 1과 bf16을 가정한다. 캐시에 저장하는 값 하나는 2바이트다. 표의 수치는 토큰 하나를 보관할 때 더해지는 논리적 캐시 크기다.

표준 어텐션 계층의 계산식은 다음과 같다.

계층별 토큰당 바이트 = 2 × KV 헤드 수 × 헤드 차원 × 2

앞의 2는 키와 값 두 텐서를 뜻한다. 뒤의 2는 bf16 값 하나의 바이트 수다. 모델 전체를 계산할 때는 캐시를 만드는 각 계층의 기여분을 합산한다.

슬라이딩 윈도는 토큰의 보관 기간을 바꾼다. 순환 계층의 0 B/token은 토큰에 따라 늘어나는 KV 캐시가 없다는 뜻이다. 고정 크기 추론 상태까지 사라진다는 뜻은 아니다. 희소 어텐션의 선택 개수도 저장한 전체 문맥 길이와 같다고 가정하면 안 된다.

실제 서빙 메모리는 버퍼와 메모리 할당 방식, 커널의 저장 형식에 따라 달라진다. 표의 수치만으로 배포에 필요한 GPU 메모리를 확정할 수 없다.

모델을 고를 때 남길 비교 항목

개발자가 이 자료를 활용한다면 모델의 최대 문맥 길이와 함께 계층 구성을 기록하는 편이 좋다. 같은 문맥 길이라도 전역 어텐션, 슬라이딩 윈도, 순환 상태가 차지하는 비중이 다를 수 있다.

배포 후보를 좁힌 뒤에는 같은 입력과 배치 조건으로 메모리와 응답 시간을 측정하길 권한다. 긴 문서에서 특정 내용을 다시 찾는 과제도 별도로 확인할 만하다. 이는 구조 비교를 실제 서비스 평가에 연결하기 위한 필자의 제안이다. 갤러리의 구조 설명만으로 특정 모델의 속도나 검색 정확도가 우수하다고 판단할 수는 없다.