MACaQ-R GGUF 공개: 표준 llama.cpp 실행과 양자화 평가의 범위

Huawei CSL이 MACaQ-R로 다듬은 Qwen3.6-35B-A3B GGUF 파일을 공개했다. 공식 모델 API에 따르면 저장소 생성은 2026년 11월 11일 23:28 UTC, 마지막 갱신은 23:40 UTC다. 한국 시간으로는 11월 12일 오전이다. 이는 파일 저장소의 기록이며 개발팀의 발표 시각을 뜻하지는 않는다.

MACaQ 논문은 11월 7일 제출됐다. 이번에 살펴볼 대상은 그 방법을 바탕으로 공개된 MACaQ-R 배포 파일이다. 로컬 모델을 운영하는 개발자라면 모델을 직접 양자화할지, 공개 GGUF를 받아 실행할지 먼저 정할 수 있다.

표준 llama.cpp에서 실행하는 MACaQ-R

공식 모델 카드는 Q4KXL 파일 크기를 22.36 GB로 안내한다. 텍스트 모델만 담았고 MTP 예측 블록은 포함하지 않는다. 카드의 라이선스는 Apache 2.0이다.

MACaQ-R은 기존 MoE GGUF의 Q4K·Q5K·Q6_K 가중치 코드를 수정한다. 블록 스케일과 텐서 형식, 원래 활성값의 기저는 유지한다. 이렇게 만든 파일은 표준 llama.cpp로 실행한다. MACaQ-R 제작 가이드에 따르면 제작 단계에는 일치하는 원본 HF 체크포인트와 고정밀 teacher GGUF, 보정 데이터가 필요하다. 공개 파일을 받아 실행하는 단계와 직접 파일을 만드는 단계의 준비물이 다르다.

파일 크기가 같을 때 평가값은 어떻게 달랐나

모델 카드에서 개발팀은 같은 22.36 GB 파일 두 개를 비교한다. FP16 기준 출력과의 KL divergence는 Unsloth UD-Q4KXL이 0.015731, MACaQ-R Q4KXL이 0.013367이다. 이 지표에서는 낮은 값이 FP16 출력에 더 가깝다는 뜻이다.

이 수치는 개발팀의 자체 평가다. 한국어 답변, 코드 생성, 도구 호출에서 같은 개선을 얻는지는 별도로 확인해야 한다. 이번 조사에서는 모델을 내려받아 실행하거나 평가를 재현하지 않았다. 파일 크기만으로 실제 실행 메모리를 확정할 수도 없다.

전체 MACaQ 경로와 구분할 부분

MACaQ 공식 저장소는 활성값 변환을 포함하는 전체 MACaQ 경로에 번들 런타임 가이드를 안내한다. 표준 llama.cpp에서 실행한다는 설명은 MACaQ-R 배포 파일에 해당한다. GGUF라는 확장자만 보고 두 경로를 같은 실행 방식으로 취급하면 안 된다.

논문은 선형 계층을 각각 처리하는 양자화 방법을 설명한다. 연구진은 122B 모델을 32.5 GB GPU 메모리로 64분 동안 양자화했다고 보고한다. 이 결과는 양자화 작업의 측정값이다. 해당 모델의 추론에 같은 메모리만 필요하다는 근거로 사용할 수는 없다.

직접 적용하기 전에 확인할 조건

vLLM 가이드는 Linux와 Python 3.12를 요구한다. 기본 모드는 W4A4이며 하이브리드 모델에는 별도 의존성 파일을 안내한다. MoE 경로에서도 attention·shared experts·routers·norms·embeddings·output head는 원래 정밀도를 유지한다. W4A4 표기만으로 모델의 모든 연산이 4비트라고 판단하지 않아야 한다.

운영 환경에서는 사용할 체크포인트와 런타임 조합부터 고정하는 편이 좋다. 보정용 입력과 평가용 입력은 분리해야 한다. llama.cpp 제작 가이드도 이 분리를 요구한다. 같은 파일 크기의 대안을 비교할 때는 자체 한국어·코드 평가와 실행 메모리 측정을 함께 남기면 선택 근거가 생긴다.