[논문 리뷰] Open ASR Leaderboard: Towards Reproducible and Transparent Multilingual and Long-Form Speech Recognition Evaluation (Srivastav et al.)
음성인식(ASR/STT) 모델을 개발하거나 도입하려고 할 때 누구나 한 번쯤 부딪히는 질문이 있다. "그래서 지금 뭐가 제일 좋은 모델인데?" 논문마다 평가 데이터셋이 다르고, 텍스트 정규화 방식도 제각각이라 공정한 비교가 어렵다. 오늘 소개할 논문은 이 문제를 정면으로 다룬 Open ASR Leaderboard(Srivastav et al., arXiv:2510.06961)이다. Hugging Face와 NVIDIA가 주도하고 커뮤니티가 함께 만드는 공개 벤치마크 플랫폼으로, 86개 ASR 시스템을 동일한 조건에서 비교한다.
1. 이 논문이 해결하려는 문제
ASR 분야는 오픈소스 데이터셋과 사전학습 모델 덕분에 빠르게 발전했지만, 그만큼 부작용도 생겼다.
- 새 모델 개발자는 어떤 베이스라인과 어떻게 비교해야 할지 알기 어렵다
- 사용자는 자기 용도(정확도 vs 속도, 오픈소스 vs 상용 API)에 맞는 모델을 고르기 어렵다
- 기존 벤치마크는 영어 + 30초 미만 단문에 심하게 편중되어 있다
선행 연구들의 공통 결론 — ① 만능 모델은 없다, ② 데이터셋 하나로는 부족하다, ③ WER 하나로는 부족하다 — 을 반영해, 저자들은 다중 데이터셋 + 다중 메트릭 + 표준화된 평가 파이프라인을 갖춘 리더보드를 만들었다. 평가 스크립트와 데이터 로더는 전부 오픈소스다..
2. 리더보드 구성: 3개 트랙, 12개 데이터셋
리더보드는 세 가지 트랙으로 나뉜다.
- 영어 단문(Leaderboard) — 30초 미만 오디오. Whisper의 수용 범위가 기준
- 다국어(Multilingual) — 독일어·프랑스어·이탈리아어·스페인어·포르투갈어
- 영어 장문(Long-form) — 30초 초과 오디오
장문 트랙을 따로 둔 이유가 재미있는데, 리더보드 오픈 모델의 32%가 Whisper 계열이라 컨텍스트 크기와 오디오 청킹(chunking) 전략에 따라 장문 성능이 크게 달라지기 때문이다. 즉, 단문 성적만 보고 장문 성능을 예측하면 안 된다는 것이다..
데이터셋은 회의(AMI), 오디오북(LibriSpeech), 팟캐스트·유튜브(GigaSpeech), 금융 회의(SPGISpeech), TED 강연, 유럽의회 연설(VoxPopuli), 실적 발표 콜(Earnings21/22), 사회언어학 인터뷰(CORAAL) 등 도메인이 다양하다. 특히 테스트셋 오염(contamination) 대응이 인상적인데, 트랙마다 비상업 라이선스 데이터셋(TED-LIUM v3, CoVoST-2, CORAAL)을 최소 1개 포함시켜 상용 API가 해당 데이터로 학습했을 가능성을 낮추었다.
3. 평가 방법: WER + RTFx
두 가지 메트릭을 함께 봅니다.
- WER(Word Error Rate): 모델마다 구두점·대소문자·간투사("uh", "um") 처리 방식이 달라서, Whisper 스타일의 텍스트 정규화(구두점·대소문자 제거, 숫자 정규화, 철자 표준화, 간투사 제거)를 모든 출력에 일괄 적용한 뒤 계산합니다.
- RTFx(inverse Real-Time Factor): 오디오 총 길이 ÷ 전사 소요 시간. 높을수록 빠릅니다. RTFx 100이면 실시간의 100배 속도라는 뜻이라 직관적이죠. 모든 측정은 동일한 NVIDIA A100 80GB 환경에서 수행됩니다.
4. 주요 결과
4-1. 영어 단문: 정확도 vs 속도의 뚜렷한 트레이드오프
| 모델 | 오픈 | Avg WER↓ | RTFx↑ | 아키텍처 |
|---|---|---|---|---|
| Cohere Labs Transcribe | O | 5.42 | 525 | FastConformer + Transformer |
| Zoom Scribe v1 | X | 5.47 | - | 비공개 |
| IBM Granite Speech 4.0 1B | O | 5.52 | 280 | Conformer + LLM |
| NVIDIA Canary Qwen 2.5B | O | 5.63 | 418 | FastConformer + LLM |
| NVIDIA Parakeet TDT 0.6B v2 | O | 6.05 | 3390 | FastConformer + TDT |
| OpenAI Whisper Large v3 | O | 7.44 | 146 | Whisper |
| NVIDIA FastConformer CTC Large | O | 8.96 | 6400 | FastConformer + CTC |
핵심 관찰은 세 가지다..
- Conformer 인코더 + Transformer/LLM 디코더 조합이 최고 WER을 달성. 단, 느리다.
- TDT/CTC 디코더는 속도가 압도적이다. Parakeet TDT 0.6B는 WER 10위이면서 RTFx 3390, FastConformer CTC는 무려 RTFx 6400. 정확도를 약간 양보하는 대신 수십 배 빠른 셈이다.
- 같은 Transformer/LLM 디코더 조건에서 Conformer 인코더가 Whisper 인코더보다 평균 3.77배 빠르다(RTFx 758 vs 201). 그런데도 Whisper 인코더가 인기 있는 이유는 99개 언어를 커버하는 대규모 다국어 사전학습 덕분이다.
4-2. 다국어: 상용 모델의 우세, 그리고 커버리지의 대가
다국어 트랙에서는 ElevenLabs Scribe v2(WER 2.67), AssemblyAI Universal 3 Pro(3.23) 같은 폐쇄형 상용 모델이 1~2위를 차지하였다. 오픈소스 중에서는 Mistral AI Voxtral Small 24B(3.70)가 최고였다.
흥미로운 건 "전문화 vs 다국어 커버리지" 트레이드오프이다. NVIDIA Parakeet TDT는 v2→v3에서 다국어 지원을 추가했고, Canary 1B는 v2에서 4개→25개 언어로 확장했는데, 두 경우 모두 영어 정확도가 하락하였다. 언어를 넓히면 개별 언어 성능이 희생된다는 것을 같은 모델 패밀리 안에서 보여준 사례다.
4-3. 영어 장문: 오픈소스의 숙제
장문 트랙에서도 상용 모델(ElevenLabs 7.32, AssemblyAI 8.34)이 오픈소스 최고(Cohere Labs Transcribe 9.73)와 뚜렷한 격차로 앞섰다. 저자들은 도메인 특화 파인튜닝을 원인으로 추정한다. 장문에서는 회의·인터뷰처럼 간투사가 훨씬 자주 등장하고, 컨텍스트 크기·청킹 전략의 영향도 커서 단문 성적과 순위가 꽤 달라진다.
5. 개인적인 감상 및 시사점
- 경량·고속 ASR을 노린다면 FastConformer + TDT/CTC가 현재 가장 검증된 방향이다. Parakeet TDT 0.6B가 0.6B 파라미터로 WER 10위권 + 실시간 3390배 속도를 보여준 것이 대규모 실증 근거가 됐다.
- 한국어는 아직 다국어 트랙에 없다. 한국어 ASR 벤치마크를 만든다면 이 논문의 방법론 — 다중 도메인 데이터셋, 표준화된 텍스트 정규화, WER+RTFx 병행, 비상업 라이선스 셋 포함 — 이 좋은 템플릿이 될 것이다. 다만 정규화 파이프라인이 영어 전용이라 한국어용(띄어쓰기, 숫자·단위 표기 등) 설계는 별도 과제이다.
- 평가 스크립트가 전부 공개되어 있어서(GitHub) 자체 모델을 동일 프로토콜로 벤치마크해볼 수 있다는 점도 실용적이다.
참고 링크
- 논문: arXiv:2510.06961
- 리더보드: Hugging Face Space
- 평가 코드: GitHub
※ 본 포스트는 논문 내용을 요약·정리한 것으로, 수치와 순위는 2026년 3월 27일 리더보드 기준입니다. 최신 결과는 리더보드에서 계속 갱신된다.