* 본 블로그 포스트에서 사용된 표, 이미지 및 기타 관련 자료는 "PROBABILITY AND STATISTICAL INFERENCE 9th Edition"에서 발췌한 것입니다. 이 자료들은 내용을 요약하고 이해를 돕기 위한 참고용으로 제공됩니다. 또한, 해석 과정에서 일부 오류가 있을 수 있으니 원본을 참고하여 확인하시기 바랍니다
ChatGPT나 Gemini에게 말을 걸면 꽤 잘 알아듣는다.
근데 그건 어디까지나 표준어로, 조용한 곳에서, 또박또박 말했을 때 얘기다.
광둥어 억양이 섞인 중국어, 모로코식 아랍어, 요루바어 같은 저자원 언어로 말하면 어떻게 될까?
오늘 소개할 논문은 KDD '26에 발표된 칭화대(선전 국제대학원)와 JD AI Research의 PolySpeech-100이다.
제목 그대로 100개가 넘는 언어와 방언에서 음성 LLM(Speech-LLM)의 "듣고 이해하는 능력"을 측정하는 대규모 벤치마크인데, 결과가 꽤 충격적이다.
결론부터 말하면:
- 짙은 방언에서는 E2E 음성 모델이 ASR+LLM 조합을 압도한다. 받아쓰기를 거치는 순간 중요한 정보가 사라지기 때문.
- 저자원 언어에서 오픈소스 모델은 사실상 붕괴한다. Gemini만 멀쩡하다.
- 놀랍게도 Chain-of-Thought(CoT) 프롬프팅이 음성 이해 성능을 오히려 떨어뜨린다.
- 논문: arXiv 2606.01016, KDD '26
- 코드/데이터: github.com/YoungSeng/PolySpeech-100 (CC-BY-SA)
1. 문제의식: 음성 AI 평가는 아직 '받아쓰기 시대'
E2E Speech-LLM은 음성을 텍스트로 변환하지 않고 오디오를 직접 이해하는 방향으로 빠르게 진화하고 있다.
그런데 이를 평가하는 벤치마크는 여전히 세 가지 한계에 갇혀 있다.
- 고자원 언어 편중 — 영어와 표준 중국어 위주. 전 세계 대다수 언어는 테스트조차 안 됨
- 저수준 과제 중심 — ASR 정확도(WER)나 단순 지시 수행만 측정. 의미적 추론·이해는 뒷전
- 방언의 부재 — '중국어', '아랍어'를 단일 언어로 취급. 실제 서비스에서 가장 어려운 광둥어, 쓰촨화, 마그레브 아랍어 같은 지역 변이는 무시
기존 데이터셋(LibriSpeech, Common Voice, FLEURS 등)은 전사 품질만 재고, 최근의 Speech-LLM 벤치마크(AIR-Bench, VoiceBench 등)도 영어·표준 중국어 밖의 복합 추론은 다루지 못한다.
PolySpeech-100은 평가의 초점을 "hearing(받아쓰기)"에서 "understanding(내용 이해)"으로 옮기자고 제안한다.
2. 벤치마크 설계: 110개 언어 변이, 약 8만 8천 개 샘플
과제 형식은 단순하지만 강력하다.
지문 + 질문 + 4개 선택지를 전부 오디오로 듣고 정답을 고르는 음성 독해 4지선다 QA다.
텍스트 기반은 122개 언어에 완전 병렬로 정렬된 Belebele 독해 벤치마크라서, 언어 간 의미가 동일하다. 덕분에 순수하게 음향적 이해 능력만 통제해서 비교할 수 있다.
언어는 세 그룹으로 나뉜다.
| 그룹 | 구성 | 예시 |
|---|---|---|
| High-Res | 주요 언어 10개 | 영어, 중국어(간/번체), 스페인어, 일본어 등 |
| CN-Dialect | 중국 방언 19개 | 광둥어, 상하이어(오어), 민난어, 쓰촨, 둥베이, 톈진 등 |
| Low-Res | 롱테일 언어 81개 | 줄루어, 요루바어, 라오어, 크메르어, 암하라어 등 |
하이브리드 데이터 구축: 사람 녹음 + 지시 기반 합성
방언과 저자원 언어의 사람 녹음을 구하기는 비싸고 어렵다.
그래서 저자들은 세 트랙으로 데이터를 모았다.
- Track 1 — 사람 녹음 (73개 언어): 2M-BELEBELE 코퍼스의 전문 성우 녹음. 음향 자연성의 골드 스탠다드
- Track 2 — 생성형 방언 적응 (중국 방언 19개): 이 논문의 핵심 기여. "Rewrite-then-Synthesize" 2단계 전략
- ① LLM(Qwen3-Instruct)이 표준 텍스트를 의미를 보존하면서 방언 어휘·문형으로 재작성
- ② CosyVoice 3.0에 방언별 지시 프롬프트를 줘서 광둥어 성조 변이, 북방 권설음화 같은 음운 특성을 주입해 합성
- Track 3 — 신경망 TTS (저자원 18개 언어): Edge-TTS로 합성, 남/녀 화자 랜덤화
"합성 데이터로 평가해도 되나?"에 대한 답
이 논문이 성실한 지점이다.
3중 품질 검증(파일 무결성 검사 → 합성음을 ASR로 역전사해서 원문과 WER/CER 비교, 임계값 초과 샘플 재생성 → 원어민 언어학자 블라인드 감사)을 거쳤고, 검증 수치도 제시한다.
- 원어민 감사 수용률 92.4% (Cohen's κ = 0.78)
- 5개 방언의 실제 사람 녹음 300개와 합성 데이터에서의 모델 성능 상관 r = 0.83
- 같은 텍스트의 사람 녹음 vs TTS 버전 성능 차이 2%p 미만
즉, 합성 데이터가 실제 방언 음성의 유효한 대리(proxy)라는 걸 정량적으로 입증했다.
3. 실험: 22개 모델의 성적표
평가 대상은 크게 세 부류다.
- 클로즈드소스 E2E: Gemini-3-Flash, GPT-Audio-mini
- 오픈소스 E2E: Qwen2.5-Omni, Fun-Audio-Chat, Step-Audio-2, MiMo-Audio, LLaMA-Omni2, Mini-Omni, Moshi 등
- 캐스케이드(ASR+LLM): {Whisper-v3, Qwen3-ASR} × {Qwen2.5/3, Llama-3.1/3.2}
종합 성적 (정확도 %)
| 모델 | 전체 | 고자원 | 중국 방언 | 저자원 |
|---|---|---|---|---|
| Gemini-3-flash | 85.3 | 94.3 | 83.5 | 84.6 |
| GPT-Audio-mini | 56.6 | 83.6 | 55.6 | 53.6 |
| Whisper-v3 + Qwen2.5 | 53.9 | 83.7 | 62.6 | 48.1 |
| Fun-Audio-Chat | 52.9 | 84.8 | 77.1 | 43.3 |
| Qwen2.5-Omni | 50.9 | 84.9 | 78.6 | 40.2 |
| Mini-Omni / Moshi 등 | ~21 | — | — | — |
Gemini-3-flash의 독주가 눈에 띈다.
고자원(94.3%)에서 저자원(84.6%)으로 가도 거의 안 떨어진다. 반면 GPT-Audio-mini는 오픈소스 최상위권과 비슷한 수준에 그쳤다.
흥미로운 붕괴 사례도 하나 있다.
시스템 프롬프트를 지원하지 않아서 지시문을 음성으로 만들어 입력 오디오 앞에 이어붙인 모델들(Mini-Omni, Moshi, LLaMA-Omni2)은 4지선다 랜덤(25%)에도 못 미치는 20~22%로 무너졌다.
같은 오디오 스트림 안에서 "지시"와 "내용"을 구분하지 못하는 거다.
4. 핵심 발견 셋
발견 ① 사투리 앞에서 받아쓰기는 배신한다
중국 방언 19종에서 Qwen2.5-Omni(78.6%)와 Fun-Audio-Chat(77.1%)이 Whisper-v3+Qwen2.5 파이프라인(62.6%)은 물론 GPT-Audio-mini(55.6%)를 20%p 이상 앞섰다.
왜일까?
ASR 전사는 음성의 손실 압축이기 때문이다. 성조·강세·억양처럼 방언에서 의미 판별에 결정적인 단서들이 텍스트로 바뀌는 순간 정규화되어 사라진다.
논문의 사례가 인상적이다.
광둥어로 '에스키모(愛斯基摩)'를 발음하면 /oi3 si1 gei1 mo1/이 되는데, 캐스케이드의 ASR이 이걸 음만 비슷한 무의미한 한자(外斯基魔人)로 받아써 버린다.
지문과 정답 선택지를 잇는 의미 고리가 끊어져서 LLM은 오답을 고른다.
반면 E2E 모델은 텍스트를 거치지 않고 질문과 지문의 음향 패턴을 직접 매칭해서 정답을 맞혔다.
다만 방언에도 난이도 계층이 있다.
표준 만다린·둥베이·톈진(85%+) → 쓰촨(80%, 성조는 다르지만 어휘 공유) → 상하이어·광둥어(별개 방언군, Qwen2.5-Omni 기준 만다린 87.4% → 상하이 66.4%로 급락).
그리고 반전이 하나 있다.
아랍어 방언에서는 반대로 캐스케이드가 E2E를 이긴다(Whisper 파이프라인 62.1% vs 최고 E2E 52.1%).
오픈소스 E2E의 오디오 인코더가 사전학습에서 아랍어 음성을 충분히 못 봤기 때문으로 분석된다. 아키텍처의 우열이 절대적인 게 아니라 언어권 데이터 노출에 좌우된다는 얘기다.
발견 ② 저자원 언어는 여전히 미개척지
81개 롱테일 언어에서 Gemini만 84.6%로 버티고, 최고 오픈소스 E2E도 30~43%대로 추락한다.
요루바어·줄루어에서는 다수 모델이 찍기 수준(~25%)이다.
흥미롭게도 이 구간에서는 Whisper-v3+Qwen2.5(48.1%)가 최고 오픈소스 E2E(43.3%)보다 낫다.
Whisper 인코더의 방대한 다국어 사전학습이 아직은 더 안정적인 기반이라는 뜻. 오픈소스 진영이 정복해야 할 1순위 과제다.
발견 ③ "생각하고 답해"라고 하면 더 틀린다
텍스트 LLM에서는 CoT가 거의 공짜 점수인데, 음성에서는 반대였다.
Qwen2.5-Omni와 Fun-Audio-Chat은 CoT를 적용하자 고자원 언어에서 약 10%p 하락했다.
프롬프트 템플릿을 바꿔도("step by step", JSON 강제 등) 일관되게 -7.5~-12.1%p. 프롬프트 문제가 아니라 구조적 문제라는 뜻이다.
실패 사례를 뜯어보니 오류의 85% 이상이 '못 들어서'가 아니라 '추론 중에 무너져서' 발생했다.
모델이 오디오 내용을 정확히 인용해 놓고도:
- 별개의 두 사실을 가짜 인과관계로 융합하거나 (Semantic Conflation)
- "~가 아닌 것은?" 부정 질문에서 참인 진술을 골라버리거나 (Logic Inversion)
- 추론 텍스트로는 정답 D를 완벽히 논증해 놓고 최종 출력은 A를 내뱉는다 (Reasoning-Output Disconnect)
저자들의 진단은 모달리티 정렬 격차(modality alignment gap)다.
현재 Speech-LLM은 "직접 전사"나 "즉답" 과제로만 학습되어서, 긴 추론 텍스트를 생성하도록 강제하면 오디오 임베딩에서 분리(decouple)되어 텍스트 사전확률로 회귀해 버린다는 것.
오디오 3-shot 인컨텍스트 러닝도 대부분 무효였고, Step-Audio-2는 오히려 -15%p 폭락했다(긴 오디오 컨텍스트에 질문을 '망각').
5. 덤: 강건성 스트레스 테스트
- 소음: 고소음(SNR 0~5dB, 시끄러운 거리 수준)에서 Fun-Audio-Chat -19.1%p vs Qwen2.5-Omni -9.0%p. 조용한 실험실에서 방언을 알아듣는 것과 실환경은 다른 문제다
- 속도: 0.8x/1.2x 변속은 대체로 잘 견딘다
- 선택지 편향: Step-Audio-2는 정답과 무관하게 'B'를 과도하게 선택하는 내재적 위치 편향을 보인다 (프롬프트를 바꿔도 유지)
- 효율: 전체 벤치마크(8.8만 샘플, RTX 4090 1장) 처리에 Fun-Audio-Chat 11시간 vs Moshi 200시간+
6. 정리와 생각
이 논문의 메시지는 명확하다.
텍스트는 음성의 손실 압축이다. 진정으로 포용적인 음성 이해를 위해서는 "받아쓰고 읽는(transcribe-then-read)" 패러다임에서 "네이티브 음향 추론(native acoustic reasoning)"으로 넘어가야 한다.
물론 한계도 명시되어 있다.
4지선다 형식이라 개방형 대화·풀듀플렉스 상호작용은 못 재고, Belebele 기반이라 격식체 독해 위주이며, 감정·운율 같은 파라링귀스틱 신호는 다음 버전 과제다.
티베트어나 아마존 원주민 언어처럼 합성 수단조차 없는 언어는 아직 빠져 있다.
그래도 방언·저자원 언어 평가를 "합성으로 스케일링하고 사람 데이터로 검증"하는 방법론(r=0.83)을 정립했다는 점, 그리고 CoT가 음성 모달리티에서 역효과라는 반직관적 발견을 다각도로 검증했다는 점에서, 음성 AI를 만들거나 평가하는 사람이라면 한 번은 읽어볼 가치가 있는 논문이다.
한국어 사용자 입장에서는 — 한국어는 고자원 축에 들지만, 제주 방언이나 심한 지역 억양에서 지금의 음성 AI가 어떨지 자연스럽게 궁금해진다.
참고 자료
- 논문: Yang et al., "PolySpeech-100: A Large-Scale Benchmark for Speech Understanding Across 100+ Languages and Dialects", KDD '26 (arXiv:2606.01016)
- 코드·데모: github.com/YoungSeng/PolySpeech-100
- 데이터셋: huggingface.co/datasets/youngseng/PolySpeech-100-v1 (CC-BY-SA)
