Muir 선형 어텐션: 고정 크기 상태와 긴 문맥 검색의 조건

긴 입력을 처리하는 모델을 고를 때는 메모리 사용량과 필요한 정보를 되찾는 능력을 함께 봐야 한다. Google 연구진의 Muir는 이 문제를 선형 어텐션의 쓰기·지우기·읽기 구조로 살핀 연구다. 논문은 2026년 11월 5일 arXiv에 공개됐다. 아래 성능은 저자 보고이며 독립적으로 재현하지 않았다.

쓰기와 읽기에 서로 다른 용량을 배분한다

선형 어텐션은 입력 문맥을 고정 크기 상태로 압축한다. Muir는 지우기와 쓰기의 민감도 차이에 맞춰 게이트 용량을 배분하고 읽을 때 상태 채널의 가중치를 조절한다. 줄인 매개변수는 FFN 확장에 쓴다. 저자의 소개에서도 저랭크 게이트, 읽기 필터, 병렬 학습 커널을 함께 설계한 접근이라고 설명한다.

1천만 토큰 처리와 100만 토큰 검색을 구분한다

논문 5.2.3절은 1.34B 모델의 1천만 토큰 스트림에서 언어모델링 성능을 측정한다. float32 상태는 24개 층을 합쳐 25MB다. 모델 가중치와 실행에 필요한 전체 메모리를 25MB로 해석하면 안 된다.

별도의 100만 토큰 passkey 검색에서는 정적 읽기 설정이 zero-shot 90.0%, 64K 추가 학습 후 99.4%를 기록했다. 동적 읽기 설정의 긴 스트림 처리와 정적 설정의 검색 점수를 한 모델 조건의 결과처럼 합쳐서는 안 된다.

입력 길이만으로 서비스 적합성을 판단하기 어려운 사례다. 긴 문서를 요약하는 앱과 특정 식별자를 정확히 찾는 앱은 평가 질문부터 달라야 한다. 개발팀이라면 보존해야 할 정보의 종류를 먼저 정하고 자체 문서로 검색 실패를 확인하는 편이 좋다.

속도는 TPU 학습 조건의 결과다

실험은 166M~1.34B 모델을 다뤘다. FineWeb-Edu 100B 토큰으로 학습했고 TPU7x 8개를 사용했다. 5.2.4절의 처리량 비교는 32K에서 Transformer의 Splash Attention보다 약 2.7배 빠른 학습을 보고한다. 짧은 입력에서는 Transformer가 더 빠르다.

이 수치만으로 GPU 추론 서버의 응답 지연이나 요금 절감을 계산할 수는 없다. 실제 배포를 검토할 때는 하드웨어, 입력 길이 분포, 배치 크기를 맞춰 측정해야 한다. 이번에 확인한 자료는 연구 논문과 저자 소개이며 바로 호출할 API나 내려받을 가중치의 출시를 확인한 것은 아니다.

Muir를 읽을 때 유용한 질문은 세 가지다. 상태 메모리는 얼마나 늘어나는가, 필요한 정보를 얼마나 정확히 되찾는가, 그 설정을 구현한 커널은 내 하드웨어에서도 빠른가. 세 질문을 따로 확인해야 논문의 효율 개선을 실제 시스템 요구와 연결할 수 있다.