ATX AI2: 27B 모델을 2.3비트로 줄였을 때 확인할 실행 조건

로컬에서 큰 언어 모델을 돌릴 때 그래픽 메모리는 가장 먼저 부딪히는 제약이다. 제작자 JakeATX가 공개한 ATX AI2는 Swift 1.5 Qwen3.8-27B 파생 모델을 약 2.3비트로 양자화한 파일이다. 모델 카드에 따르면 이 파일은 12GB 그래픽카드를 위한 실행 구성을 제시하지만, 그 구성으로 해당 파일을 실제 실행한 결과는 아직 없다.

Hugging Face API에 기록된 모델 저장소 생성 시각은 2026년 11월 1일 17시 54분 UTC다. Reddit 소개 글에서 발견한 이 모델은 Qwen3.8-27B를 기반으로 한 Swift 1.5의 거부 응답을 줄인 파생 모델이다. 텍스트 모델과 MTP 초안 레이어를 담으며 비전 구성요소는 포함하지 않는다.

파일 크기와 메모리는 다르다

양자화는 가중치를 적은 비트로 표현해 저장 및 실행 부담을 줄이는 방식이다. 제작자는 텐서의 중요도에 따라 2~5비트를 배분했다고 설명한다. 주 모델과 출력 헤드, MTP 레이어는 약 7.79GB이고, 별도 토큰 임베딩 테이블 1.35GB는 시스템 RAM에 둔다. 전체 GGUF 파일은 약 9.14GB다.

파일 크기만으로 전체 메모리 사용량을 계산할 수는 없다. 실행 중에는 컨텍스트를 저장하는 KV 캐시와 작업 공간도 필요하다. 모델 카드의 12GB와 10GB용 명령은 해당 새 파일로 아직 실행하지 않았으므로, 자신의 GPU에서 원하는 컨텍스트 길이까지 동작할지는 별도로 시험해야 한다.

일반 llama.cpp에서 바로 열리지 않는다

이 파일은 제작자의 AI+ 형식 텐서를 사용한다. 카드에 따르면 llamAmpere v0.6.2 이상이 필요하고 일반 llama.cpp나 llamAmpere v0.6.1.1 이하는 파일을 불러오지 못한다. llamAmpere는 NVIDIA Ampere 계열을 대상으로 하는 llama.cpp 포크다. 모델 카드에 자동 표시되는 일반 llama.cpp 실행 안내와 제작자의 호환성 설명이 다르므로 후자를 확인해야 한다.

런타임 저장소는 MIT 라이선스지만, 모델 카드에는 가중치가 Swift Open License 1.0을 따른다고 적혀 있다. 배포나 상업적 사용을 검토한다면 코드와 모델의 조건을 각각 확인해야 한다.

벤치마크가 말하는 범위

제작자는 LiveCodeBench v6의 문제 100개를 각각 세 번 실행해 엄격 채점 기준 253/300, 즉 84.3%를 기록했다고 밝혔다. 이 측정은 48GB GPU에서 이뤄졌다. 제작자가 같은 문제에서 이전 최고 2.3비트 파일과 비교한 차이는 1.7%포인트이며, 카드 자체도 이 차이를 통계적으로 유의한 개선으로 보지 않는다. 독립적인 재현 결과는 확인하지 못했다.

제작자는 양자화 결과가 원본 BF16 출력 분포에서 얼마나 달라졌는지 나타내는 KLD도 보고했다. 값이 낮을수록 해당 조건에서 원본에 가깝다는 뜻이지만, 그것만으로 실제 업무의 정확도나 서로 다른 기반 모델의 우열을 확정할 수는 없다.

작은 GPU에서 긴 문맥을 쓰려는 개발자라면 런타임 버전과 시스템 RAM, 컨텍스트 길이를 먼저 확인하고 자신의 작업으로 품질과 속도를 재보는 편이 좋다. 특히 12GB 환경의 성능을 위 48GB 벤치마크와 같은 결과로 가정해서는 안 된다.