All posts

Qwen3.8 어휘 축소 변환물 공개: 한국어 토큰 비용과 검증 범위

어휘를 줄인 Qwen3.8-27B GGUF·NInfer가 공개됐다. 한국어 byte fallback의 토큰 비용과 배포자의 자체 성능 측정, 미확인 검증 범위를 짚는다.

GPU 옆 어휘 타일과 한국어 문자를 바이트 블록으로 표현한 어휘 축소 개념도

Qwen3.8-27B 양자화 모델의 어휘를 줄인 커뮤니티 변환물이 11월 15일 공개됐다. 배포자 fakezeta는 GGUF와 NInfer 파일, 변환 보조 스크립트를 함께 올렸다. Hugging Face 저장소 생성 시각은 2026년 11월 15일 12:09:03 UTC다. Qwen 개발팀의 새 모델 출시는 아니다. 모델 카드에서 변경 범위를 확인할 수 있다.

어휘를 줄이면 한국어는 어떻게 처리할까

P2 정책은 ASCII, Latin-1, Latin-Extended-A 문자를 남긴다. 모델 카드에 따르면 어휘 행은 248320개에서 141141개로 줄었다. 정책 밖의 문자도 byte fallback으로 표현하지만 UTF-8 바이트마다 토큰을 쓴다. 한국어 사용자는 메모리 절감과 함께 입력의 토큰 비용도 살펴야 한다.

변환 과정에서 토크나이저와 특수 토큰 ID, 빈도 순위도 새 어휘에 맞춰 바꾼다. NInfer의 행 정렬 조건을 맞추려고 임베딩과 출력 헤드에 0인 행을 추가해 141184행으로 만든다. 배포자는 이 여분의 행이 샘플링에서 제외되는지 샘플러 코드를 읽어 확인하지 못했다고 적었다. 변환 코드와 파일 목록도 공개돼 있다.

공개 파일과 성능 주장을 구분하기

배포자는 RTX 5060 Ti 16GB에서 rk8v4 KV 설정으로 75K 컨텍스트와 평균 약 60 tok/s를 기록했다고 밝혔다. IFEval은 Instruct 설정의 단일 실행에서 84.4%, 비교 대상은 83.9%라고 보고했다. 이 수치는 배포자의 Reddit 소개에 나온 자체 측정이다. 독립 재현이나 한국어 품질 시험은 확인하지 못했다.

모델 카드의 최종 빌드 검증 상태에는 미작성 표시도 남아 있다. 파일 공개와 변환 설명을 확인했어도 모든 추론 경로의 동작을 보장하지는 않는다. 한국어 작업에 도입하려면 같은 입력으로 토큰 수와 응답 품질을 비교하고 종료 토큰 처리를 시험해야 한다. 배포자의 단일 실행 결과만으로 품질이 유지된다고 판단하기는 어렵다.

Discussion

No comments yet