[논문리뷰]Synthetic Data Domain Adaptation for ASR via LLM-based Text and Phonetic Respelling(Yamashita et al.)
* 본 블로그 포스트에서 사용된 표, 이미지 및 기타 관련 자료는 "PROBABILITY AND STATISTICAL INFERENCE 9th Edition"에서 발췌한 것입니다. 이 자료들은 내용을 요약하고 이해를 돕기 위한 참고용으로 제공됩니다. 또한, 해석 과정에서 일부 오류가 있을 수 있으니 원본을 참고하여 확인하시기 바랍니다
📄 논문 정보
- 제목: Synthetic Data Domain Adaptation for ASR via LLM-based Text and Phonetic Respelling Augmentation
- 저자: Natsuo Yamashita, Koichi Nagatsuka, Hiroaki Kokubo, Kota Dohi, Tuan Vu Ho (Hitachi, Ltd.)
- 출처: arXiv:2603.16920 (2026.03)
- 프로젝트 페이지: natsuooo.github.io/llm-asr-augmentation
🎯 한 줄 요약
실제 도메인 데이터 없이, LLM으로 도메인 특화 텍스트를 과잉 생성한 뒤 3중 목적(어휘 다양성·퍼플렉시티·도메인 용어) 필터링으로 골라내고, TTS 합성 전에 발음 리스펠링(PRA)으로 발음 변이를 주입하여 ASR을 파인튜닝하는 합성 데이터 전용(synthetic-only) 도메인 적응 프레임워크. 4개 도메인 데이터셋 전부에서 WER·B-WER을 일관되게 개선했다.
1. 문제 의식
End-to-end ASR은 학습 분포와 다른 도메인 특화 데이터(항공 관제, 법정, 의료 등)에서 성능이 크게 떨어진다. 도메인 음성·텍스트 수집 비용이 크기 때문에 LLM 텍스트 생성 + TTS 합성이 저비용 대안으로 주목받고 있지만, 기존 접근에는 두 가지 한계가 있다.
- 도메인 어휘 다양성 부족 — 텍스트 양만 늘릴 뿐, 도메인 어휘의 다양성과 커버리지를 명시적으로 최적화하지 않는다.
- 자연스러운 발음 변이 부재 — TTS 합성음에는 실제 음성의 발음 오류·치환·개인 습관이 없다. SpecAugment 같은 음향 레벨 증강은 스펙트로그램을 마스킹할 뿐이며, 균일하게 렌더링된 합성음에 적용하면 오히려 성능을 해칠 수 있다.
2. 제안 방법
2.1 LLM 기반 텍스트 증강 파이프라인
핵심은 "과잉 생성(over-generation) 후 필터링"이다. 필요한 만큼만 생성하는 기존 DAS와 달리, 다단계 증강으로 대규모 후보 풀을 만들고 새로운 필터링으로 최적 부분집합을 선택한다.
- Domain seed: 도메인 정보(예: 항공 관제)로 프롬프트를 조건화
- Context seed: 시나리오 생성 + 운영 어휘(제품명, 콜사인 등 도메인 용어)를 포함한 문장 생성
- 다국어 프롬프팅: 영어·일본어·중국어로 생성 후 역번역 (도메인 용어는 "Keep the term in English"로 보존)
- 패러프레이징: 문장당 9개 대체 표현 생성
- 복수 LLM: GPT-4.1-mini, Llama-4-Maverick, Qwen3-32B 출력 결합
- 필터링: 아래 3중 목적 스코어 S(s)를 MUSS(다단계 그리디 부분집합 선택)로 최대화
필터링 스코어
S(s) = α·(TTR 이득) + β·(퍼플렉시티) + γ·(도메인 용어 비율)- α항: 아직 선택되지 않은 고유 단어 비율 → 어휘 다양성 극대화
- β항: 퍼플렉시티가 높은 문장 선호 → 전문·도메인 용어 포함 유도
- γ항: 도메인 특화 용어 커버리지 강화
- 최적 가중치 α:β:γ = 6:3:1, 각 항은 그리디 스텝마다 min-max 정규화
💡 주목할 점: 기존 연구들은 낮은 퍼플렉시티 문장만 남겼지만, 이 논문은 정반대로 높은 퍼플렉시티를 선호한다. 예컨대 "Captain Lee informs Denver zone Hotel-Seven for Airbus Two Hundred."는 퍼플렉시티가 약 14,550으로 매우 높지만 관제 맥락에서는 완전히 유창한 문장이다. 고품질 LLM이 생성했으므로 유창성은 이미 보장되어 있다는 논리다.
2.2 Phonetic Respelling Augmentation (PRA)
TTS 합성 이전, 텍스트 단계에서 발음 변이를 주입하는 새로운 증강 기법이다. LLM에게 문장을 "발음 나는 대로"의 유사 철자로 재작성하도록 프롬프팅한다.
원문: Zhang Feng piloted the Boeing Seven Three Seven aircraft.
리스펠링: Jang Feng pilotid ze Bo-in Sevem Three Sevem eer-kraft.
- 동화(assimilation): Seven → Sevem
- 탈락(elision): piloted → pilotid, Boeing → Bo-in
- 치환(substitution): Zhang → Jang, the → ze, aircraft → eer-kraft
포인트는 세 가지다.
- IPA 같은 특수 음성 기호가 아니라 표준 알파벳 철자를 쓰므로 발음 사전·파서 없이 상용 TTS에 바로 입력할 수 있다.
- 리스펠링 텍스트는 TTS 입력에만 사용하고 ASR 정답 레이블은 원본 정규 텍스트를 유지한다.
- 합성 후 음향 피처를 변형하는 SpecAugment와 달리 합성 전에 음운적 다양성을 주입하므로, 합성음이 실제 발화의 변이를 근사하게 된다.
3. 실험 설정
| 항목 | 내용 |
|---|---|
| 평가 데이터셋 | ATCOSIM·ATCO2(항공 관제), Court(인도 대법원), MedSyn(의약품 설명, 합성음) |
| ASR | Whisper-large-v3-turbo 파인튜닝 (인코더 동결, 10 epochs, lr 1e-5) |
| TTS | kokoro-TTS, 미국 영어 화자 19명 랜덤 |
| 합성 데이터 | 데이터셋당 50시간 |
| 지표 | WER / B-WER(도메인 용어) / U-WER(일반 단어) |
4. 주요 결과
4.1 텍스트 증강 효과 (WER / B-WER)
| 방법 | ATCOSIM | ATCO2 | Court | MedSyn |
|---|---|---|---|---|
| Whisper 원본 | 28.9 / 84.0 | 57.1 / 73.2 | 20.3 / 85.6 | 10.5 / 74.8 |
| DAS (기존) | 28.8 / 82.5 | 54.2 / 73.2 | 20.0 / 72.8 | 9.8 / 65.4 |
| 제안 파이프라인 | 23.9 / 40.5 | 47.1 / 45.1 | 17.8 / 36.8 | 8.8 / 32.4 |
B-WER(도메인 용어 오류율) 개선이 압도적이다. Court에서 85.6 → 36.8, ATCOSIM에서 84.0 → 40.5. 도메인 용어 비율이 0.5%뿐인 Court에서도 전체 WER과 U-WER까지 함께 개선되어, 도메인 용어를 넘어 일반 인식에도 이득이 있음을 보였다. 필터링 대체 실험에서는 랜덤 선택 < VCM(어휘 커버리지 최대화) < 제안 방식 순이었고, 퍼플렉시티 최소화는 오히려 B-WER·U-WER을 악화시켰다.
4.2 음성 증강: SpecAugment vs PRA (WER)
| 방법 | ATCOSIM | ATCO2 | Court | MedSyn |
|---|---|---|---|---|
| 파이프라인만 | 23.9 | 47.1 | 17.8 | 8.8 |
| + SpecAugment | 24.3 | 44.3 | 21.1 | 8.6 |
| + PRA (제안) | 21.2 | 41.1 | 16.8 | 8.7 |
PRA가 전 데이터셋에서 최저 또는 동급 WER을 달성했다. SpecAugment는 Court에서 오히려 크게 악화(17.8 → 21.1)됐고, 유일하게 유효했던 MedSyn은 평가 데이터 자체가 합성음이기 때문으로 분석된다. 실음성 평가에서는 텍스트 레벨 발음 변이(PRA)가 더 신뢰할 만한 증강 신호라는 것.
4.3 Ablation
- 필터링 가중치: α:β:γ = 6:3:1이 최적 — TTR과 퍼플렉시티의 균형이 중요
- 데이터 양: 10h(WER 51.4) → 50h(47.1)로 급감, 100h까지 안정, 150h 이상은 점진적 악화 → 합성 데이터는 양보다 선별이 중요
- PRA 혼합 비율: 리스펠링 데이터 40~60%가 안정적. 과도한 변형은 클린 데이터 학습을 방해
5. 의의와 한계
👍 의의
- 실제 도메인 데이터 없이 합성 데이터만으로 유의미한 도메인 적응을 달성
- 기존 통념(low-perplexity 필터링)을 뒤집어 high-perplexity 선택이 도메인 적응에 유리함을 실증
- PRA는 발음 사전·IPA 없이 표준 철자 그대로 상용 TTS에 호환 → 실용성 높음
- 프롬프트·코드·생성 텍스트·오디오 샘플 전부 공개
👎 한계
- 영어 + 단일 TTS(kokoro)/ASR(Whisper) 조합만 검증
- 실환경 노이즈·다국어 데이터 평가는 향후 과제
- MedSyn은 평가셋 자체가 합성음이라 실음성 일반화 근거로는 약함
💭 마치며
도메인 용어 리스트(운영 어휘)만 확보되면 그대로 적용 가능한 파이프라인이라 산업 현장의 도메인 특화 ASR에 응용 가치가 크다. 특히 "리스펠링 텍스트는 TTS 입력에만 쓰고 ASR 레이블은 원문을 유지한다"는 설계가 핵심 포인트로, 한국어처럼 표기와 발음의 괴리(음운 변동)가 큰 언어에 PRA를 적용해 보는 것도 흥미로운 후속 실험이 될 것이다.
원문: arXiv:2603.16920 · 프로젝트 페이지: natsuooo.github.io/llm-asr-augmentation