[논문 리뷰] Qwen3-ASR Technical Report (Shi et al.)
Whisper 이후 오픈소스 ASR 판도를 바꿀 만한 모델이 또 하나 나왔다. Alibaba Qwen 팀의 Qwen3-ASR(arXiv:2601.21337)이다. 단순히 "정확한 ASR 모델 하나"가 아니라, ASR 2종(1.7B/0.6B) + LLM 기반 강제정렬(Forced Alignment) 모델 1종을 묶은 패밀리를 Apache 2.0 라이선스로 통째로 풀었다. 30개 언어(한국어 포함)와 22개 중국 방언을 지원하고, 노래 인식과 스트리밍까지 하나의 모델로 처리한다.
1. 왜 주목할 만한가: LALM 패러다임
ASR은 Transducer, AED(Whisper류) 같은 전통적인 end-to-end 패러다임에서 LALM(Large Audio-Language Model) 패러다임으로 넘어가는 중이다. LALM은 오디오를 먼저 고수준으로 "이해"한 뒤 그 이해에 조건부로 전사를 생성하기 때문에, 전통 ASR이 어려워하던 것들 — 장문 전사, 소음 강인성, 세계지식·고유명사 인식, 다국어/방언 커버리지 — 을 자연스럽게 풀 수 있다. Qwen3-ASR은 멀티모달 파운데이션 모델 Qwen3-Omni에서 후처리 학습(post-training)된 모델이다.
2. 모델 구성
| 모델 | 구성 | 지원 | 최대 길이 |
|---|---|---|---|
| Qwen3-ASR-1.7B | Qwen3-1.7B + projector + AuT 인코더(300M) | 30언어 + 22방언, LID | 1,200초 (20분) |
| Qwen3-ASR-0.6B | Qwen3-0.6B + projector + AuT 인코더(180M) | 상동 | 1,200초 |
| Qwen3-ForcedAligner-0.6B | AuT + Qwen3-0.6B + 타임스탬프 예측 레이어 | 11언어 (한국어 포함) | 300초 |
핵심 부품은 AuT 인코더다. 별도 사전학습된 AED 기반 오디오 인코더로, 128차원 Fbank(100Hz)를 8배 다운샘플링해 12.5Hz 토큰 레이트(프레임당 80ms)를 만든다. 특히 1~8초 동적 어텐션 윈도우 덕분에 짧은 청크의 스트리밍 추론과 긴 쿼리의 오프라인 추론을 한 모델이 다 소화한다.
3. 4단계 학습 파이프라인
- AuT 사전학습 — 약 4,000만 시간의 의사라벨(pseudo-labeled) ASR 데이터 (중국어·영어 위주)
- Omni 사전학습 — 오디오·비전·텍스트 멀티태스크로 3조 토큰 (Qwen3-Omni와 동일)
- ASR SFT — 입출력 포맷 스타일 전이. 재미있는 설계가 두 가지 있는데, ① 자연어 지시를 따르지 않는 ASR 전용 모델로 훈련해 프롬프트 인젝션을 원천 차단했고, ② 시스템 프롬프트에 넣은 컨텍스트 토큰(고유명사 목록 등)을 배경지식으로 활용하는 컨텍스트 바이어싱을 지원한다. 출력은
language English<asr_text>전사문형식이고, 음성이 없으면language None을 뱉는다. - ASR RL — GSPO(Group Sequence Policy Optimization)로 약 5만 발화 학습. 저자들은 소음 강인성과 전사 안정성에 RL이 필수적이었다고 보고한다.
4. 추론 효율: 0.6B의 존재 이유
vLLM 기반 서빙(bf16, 단일 GPU)에서 측정한 결과다.
| 모델 | 동시성 | TTFT 평균 | 처리량 (오디오초/초) |
|---|---|---|---|
| Qwen3-ASR-0.6B | 1 | 92ms | 106 |
| Qwen3-ASR-0.6B | 128 | 3,210ms | 2,000 |
| Qwen3-ASR-1.7B | 1 | 102ms | 67 |
| Qwen3-ASR-1.7B | 128 | 3,392ms | 1,220 |
0.6B는 동시성 128에서 1초에 2,000초 분량의 오디오를 전사한다. 단건 요청의 첫 토큰 지연(TTFT)도 92ms라 실시간 응용에도 충분하다.
5. 성능: 상용 API와 정면 승부
비교 대상이 화려하다. GPT-4o-Transcribe, Gemini-2.5-Pro, Doubao-ASR(상용) + Whisper-large-v3, FunASR-MLT-Nano(오픈소스).
5-1. 공개 벤치마크 (WER/CER %, 낮을수록 좋음)
| 벤치마크 | GPT-4o-Tr | Gemini-2.5-Pro | Whisper-v3 | Qwen3-0.6B | Qwen3-1.7B |
|---|---|---|---|---|---|
| GigaSpeech (영어) | 25.50 | 9.37 | 9.76 | 8.88 | 8.45 |
| CommonVoice-en | 9.08 | 14.49 | 9.90 | 9.92 | 7.39 |
| TED-LIUM | 7.69 | 6.15 | 6.84 | 3.85 | 4.50 |
| WenetSpeech-meeting (중국어) | 32.27 | 13.47 | 19.11 | 6.88 | 5.88 |
| AISHELL-2 | 4.24 | 11.62 | 5.06 | 3.15 | 2.71 |
| KeSpeech (중국 방언) | 26.87 | 24.71 | 28.79 | 7.08 | 5.10 |
영어에서는 크라우드소싱·웹 수집처럼 분포 이동이 큰 실세계 데이터에서 특히 강하고, 중국어·중국 방언에서는 사실상 전 벤치마크 1위다. 상용 API들이 데이터셋마다 성능 편차가 큰 반면 Qwen3-ASR은 일관적이라는 점도 눈에 띈다.
5-2. 내부 강인성 벤치마크
저자들은 "공개 벤치마크는 이미 라벨 오류 한계에 도달해 변별력이 없다"며 16개 영어 액센트, 22개 중국 방언, 노인·아동 발화, 극한 소음, 잰말놀이(tongue twister), 다화자 대화로 구성된 내부 스트레스 테스트를 만들었다. 결과는 전 항목에서 상용 API 포함 1위. 예컨대 액센트 영어 대화에서 16.07(차점자 Doubao 20.41), 극한 소음에서 16.17을 기록했다.
5-3. 다국어와 한국어
MLS, CommonVoice, MLC-SLM, Fleurs(12/20언어 subset)에서 Whisper-large-v3를 포함한 오픈소스 베이스라인을 전부 앞선다. 언어식별(LID) 정확도도 평균 97.9%로 Whisper(94.1%)보다 높다.
한국어 성능이 특히 인상적이다 (1.7B, CER): Fleurs-ko 2.57, CommonVoice-ko 5.88, MLC-SLM-ko 8.61. 지원 언어 중 최상위권이다.
다만 정직한 한계 보고도 있다. Fleurs 전체 30개 언어로 확장하면 Whisper-large-v3(8.16)가 Qwen3-1.7B(12.60)보다 낫다. 체코어·그리스어·헝가리어 같은 롱테일 언어 커버리지는 아직 Whisper의 영역이다.
5-4. 노래도 전사한다
보컬 벤치마크(M4Singer 5.98 등)에서 최고 성능이고, 더 놀라운 건 반주(BGM)가 깔린 완결 곡 전사다. Whisper-v3와 FunASR은 이 설정에서 사실상 동작 불능(N/A)인데, Qwen3-ASR-1.7B는 중국어 곡 13.91로 1위, 영어 곡 14.60으로 상용 최강(Gemini 12.18)에 근접한다.
6. 숨은 보석: Qwen3-ForcedAligner-0.6B
개인적으로 이 논문에서 가장 신선했던 부분이다. 강제정렬(음성 + 전사문 → 단어별 타임스탬프)은 자막 생성이나 TTS 데이터 구축에 필수인데, 기존 도구(MFA, NFA, WhisperX)는 언어별 모델이 따로 필요하고 긴 오디오에서 정확도가 무너진다.
Qwen3-ForcedAligner는 이 문제를 슬롯 채우기(slot-filling) 로 재정식화했다:
- 전사문의 각 단어 뒤에
[time]특수 토큰을 삽입하고, 모델이 각 슬롯의 이산 타임스탬프 인덱스를 직접 예측 (인덱스 × 80ms = 실제 시각) - next-token prediction을 버리고 비자기회귀(NAR) 로 모든 슬롯을 동시 예측 → 초당 약 1,000초 오디오 처리
- 학습 시 출력·라벨 시퀀스를 한 칸 밀지 않는(non-shifted) causal 학습으로 슬롯 위치에서만 loss 계산
- MFA 의사라벨로 학습했지만 노이즈를 증류·평활화해 MFA보다 안정적인 예측 달성
정렬 정확도(AAS, 낮을수록 좋음)는 기존 대비 67~77% 상대 감소다. 특히 300초 연결 오디오에서 NFA는 246.7ms, WhisperX는 2,708ms까지 밀리는데 Qwen3-FA는 52.9ms로 안정적이다. 사람이 라벨링한 테스트셋에서도 평균 32.4ms로 압도적 1위. 언어별 음소 사전 없이 단일 모델로 11개 언어(한국어 포함)와 코드스위칭까지 처리한다.
7. 정리와 시사점
- 경량 ASR 관점에서 0.6B가 진짜 주인공이다. sub-1B 파라미터로 이 정도 다국어·한국어 성능에 Apache 2.0, 공식 파인튜닝 레시피까지 제공되니 온디바이스/자체 서비스용 파인튜닝 베이스로 유력하다.
- Open ASR Leaderboard 기준으로도 Qwen3 ASR 1.7B는 영어 WER 5.76으로 오픈소스 최상위권이며, 이 논문의 자체 평가와 일관된다.
- RL(GSPO)이 소음 강인성·전사 안정성에 필수적이었다는 보고는 ASR 후처리 학습(post-training) 전략 설계에 중요한 데이터 포인트다.
- ForcedAligner는 한국어 음성-전사 쌍 대량 라벨링, 자막 타임코드 생성 파이프라인에 바로 투입할 수 있는 실용 도구다.
부록: 전문용어 정리
- LALM (Large Audio-Language Model): LLM에 오디오 인코더를 결합해 음성을 이해·전사하는 모델 패러다임. LLM의 언어 능력과 세계지식을 ASR에 활용한다.
- AED (Attention Encoder-Decoder): 인코더가 음성을 인코딩하고 디코더가 어텐션으로 참조하며 토큰을 자기회귀 생성하는 구조. Whisper가 대표적.
- Transducer (RNN-T): 인코더 + 예측망 + 조인망으로 프레임 단위 토큰을 방출하는 스트리밍 친화적 E2E 구조.
- CTC (Connectionist Temporal Classification): 프레임별 독립 예측과 blank 토큰으로 정렬 문제를 푸는 방식. 빠르지만 토큰 간 독립 가정 때문에 정확도를 손해 본다.
- CIF (Continuous Integrate-and-Fire): 음향 프레임 정보를 누적해 토큰 경계를 추정하는 소프트 정렬 메커니즘.
- Forced Alignment (강제정렬): 음성과 정답 전사문이 주어졌을 때 단어/음소별 시간 경계를 추정하는 작업. 자막, TTS 데이터 구축, 라벨링에 필수.
- NAR (Non-AutoRegressive, 비자기회귀): 토큰을 순차 생성하지 않고 전체를 한 번에 병렬 예측하는 추론 방식. 지연시간이 크게 줄어든다.
- TTFT (Time To First Token): 요청 후 첫 토큰이 나오기까지의 지연시간. 실시간 체감 성능의 핵심 지표.
- RTF / RTFx: RTF = 처리시간 ÷ 오디오길이(낮을수록 빠름). RTFx는 역수(높을수록 빠름). RTF 0.064면 실시간의 약 15.6배 속도.
- WER / CER: 단어/글자 단위 오류율. 영어처럼 띄어쓰기로 단어가 구분되는 언어는 WER, 중국어·한국어 같은 문자 기반 언어는 CER을 쓴다.
- LID (Language IDentification): 입력 음성의 언어를 자동 판별하는 기능.
- Fbank (Filter bank): 멜 스케일 필터뱅크로 추출한 음향 특징. ASR의 표준 입력.
- GSPO (Group Sequence Policy Optimization): Qwen 팀이 제안한 시퀀스 단위 강화학습 알고리즘 (GRPO 계열).
- Context Biasing: 고유명사·전문용어 목록을 프롬프트로 제공해 해당 단어의 인식 정확도를 높이는 기법.
- Instruction Injection: 오디오나 프롬프트에 숨겨진 지시문이 모델 행동을 오염시키는 문제. Qwen3-ASR은 지시를 따르지 않는 ASR 전용 모델로 학습해 방어한다.
- MFA (Montreal Forced Aligner): HMM-GMM 기반의 대표적 오픈소스 강제정렬 도구. 언어별 음소 사전이 필요하다.
- AAS (Accumulated Average Shift): 예측 타임스탬프와 정답 간 절대오차의 평균(ms). 강제정렬 정확도 지표.
- vLLM: PagedAttention 기반 고성능 LLM 서빙 프레임워크. 대량 동시 요청 처리의 사실상 표준.
- Pseudo-labeling (의사라벨링): 기존 모델의 예측을 라벨 삼아 대규모 학습 데이터를 만드는 기법.
참고 링크
※ 본 포스트는 논문(arXiv:2601.21337v2, 2026-01-30) 내용을 요약·정리한 것이다. 수치는 논문 보고 기준.