Rumble-2-Flash 평가 갱신: 영어 WER 6.60과 자체 배포의 확인 범위
11월18일 추가된 ASR 평가 결과를 살핀다. 10월14일 저장소 생성과 평가 갱신을 구분하고 H200·vLLM 조건 및 한국어 평가 부재를 확인한다.

Reson8이 음성 인식 모델 Rumble-2-Flash에 11월 18일 Open ASR Leaderboard 평가 결과를 추가했다. 공식 저장소는 Transformers와 vLLM 실행 예제를 제공한다. 이번 소식은 기존 공개 모델의 평가 정보 갱신이다.
출시일과 평가 갱신일
공식 Hugging Face API에 따르면 저장소 생성일은 10월 14일이다. 커밋 이력에는 11월 10일 가중치 갱신, 11월 18일 영어·다국어 리더보드 결과 추가가 기록돼 있다. 따라서 11월 18일을 모델의 최초 공개일로 단정하기는 어렵다. 공식 커밋 이력에서 변경 내용을 확인할 수 있다.
점수와 장비 조건
공식 모델 카드는 약 0.5B 파라미터 모델에 Apache 2.0 라이선스를 표시한다. 개발사가 기재한 영어 평균 단어 오류율(WER)은 6.60이며 처리량 지표 RTFx는 6338이다. 평가 조건은 H200과 vLLM이다.
이 평균에는 공개 평가 7개와 비공개 scripted·conversational 집계 점수가 포함된다. 같은 카드에서도 비공개 conversational WER은 13.14다. 평균 수치만으로 대화 음성의 정확도를 예상하면 평가 자료 사이의 차이를 놓칠 수 있다.
다국어 표에는 독일어·스페인어 등 언어별 결과가 나오지만 한국어 평가 행은 없다. 한국어 서비스의 품질은 이 표로 확인할 수 없다. 여기 적힌 성능은 개발사가 모델 카드에 보고한 값이며 독립 재현은 수행하지 않았다. 평가 리더보드의 버전도 함께 확인해야 한다.
자체 서버에서 시험할 때
모델 카드는 Transformers와 vLLM 예제를 제공하고 언어를 지정하거나 자동 감지하는 방법을 설명한다. 숫자 표기와 간투사 보존, 반복 단어 처리 옵션도 있다. 업무에서 필요한 전사 형식을 정한 뒤 같은 설정으로 품질을 비교하는 편이 좋다.
Reson8 공식 사이트는 Rumble-2-Flash 가중치를 내려받아 자체 서버나 기기에서 실행할 수 있다고 설명한다. 상용 Rumble-2의 온프레미스·VPC 배포는 Enterprise 요금제 항목으로 따로 안내한다. 공개 가중치와 상용 서비스의 제공 조건을 구분해서 읽어야 한다.
이번 확인에서는 모델을 내려받거나 GPU 추론을 실행하지 않았다. 실제 도입을 검토한다면 업무 음성으로 오류율을 측정하고 사용 장비에서 처리량과 지연을 함께 기록할 필요가 있다.



Discussion
No comments yet