Xing4 기술 보고서: 공개 29B 모델과 285B 시뮬레이션 구분하기
Xing4 보고서의 Ascend 학습 사례를 살펴본다. 공개 29B 가중치와 285B 실험을 구분하고, prefill 4.68배의 시뮬레이션 조건을 확인한다.

China Telecom의 Xingchen AGI Lab이 11월 17일 Xing4 기술 보고서를 공개했다. 연구진은 MindSpore HyperParallel로 Ascend 910C 8,192장을 사용해 285B 모델을 사전학습했다고 설명한다. 이번 소식은 기술 보고서 공개다. 29B 모델의 가중치는 앞서 공개됐다. 논문 제출 기록
공개 가중치와 대규모 실험의 차이
Xing4.0-29B-A4B는 MoE 모델이다. 전체 29B 가운데 토큰마다 4B 파라미터를 활성화한다. 공식 모델 카드는 기본 256K 컨텍스트와 Apache 2.0 라이선스를 명시한다. BF16 가중치와 FP8·GGUF 선택지도 안내한다. 이 공개 모델의 구조는 mHC·MLA·MTP다. 공식 모델 카드
보고서의 주요 실험 대상은 285B 모델이다. 이 모델은 토큰마다 약 17B를 활성화하고 최대 100만 토큰을 지원한다. 이 모델의 실험 결과를 공개된 29B 가중치의 성능으로 옮겨 읽어서는 안 된다. 보고서 2.5절
4.68배 수치는 시뮬레이션 결과다
연구진은 MLA에 DSA와 IndexShare를 더한 구성의 prefill 처리량을 MLA 기준의 4.68배로 보고했다. 조건은 Ascend 910C 32장, 256K 컨텍스트, prefill과 decode를 분리한 구성이다. Huawei Zhanlu 기반 시뮬레이션이므로 실제 서비스의 전체 지연 시간을 측정한 값과 다르다. 저자도 운영 환경의 부하를 모두 반영하지 못해 낙관적인 결과일 수 있다고 적었다. 보고서 2.2절·표 1과 2
이 수치를 독립적으로 재현하지 않았다. GPU 대비 성능 우위나 API 비용 절감률도 이 비교만으로 확정할 수 없다.
도입 검토는 공개 모델부터
팀이 직접 평가한다면 공개된 29B 가중치로 실제 요청을 먼저 시험하는 편이 좋다. 컨텍스트 길이별 메모리 사용량과 응답 지연을 함께 기록해야 한다. 모델 카드의 라이선스와 배포 안내를 확인하고 팀의 실행 환경에서 동작하는지도 점검할 필요가 있다. 논문의 대규모 학습 사례와 서비스 배포 판단은 각각 근거를 확보해야 한다.



Discussion
No comments yet