인공지능/STT
[논문요약] ReHear: Iterative Pseudo-Label Refinement for Semi-Supervised Speech Recognition via Audio Large Language Models
VirtualJin
2026. 7. 13. 22:37
한 줄 요약
ReHear는 준지도 ASR의 고질병인 "슈도라벨(pseudo-label)의 오류 전파·확증편향"을 해결하기 위해, 텍스트만 보는 기존 정정기(corrector)와 달리 ASR의 초기 가설(hypothesis)과 원본 오디오를 함께 조건으로 받는 오디오 인식(audio-aware) LLM을 자기학습 루프에 넣는 프레임워크다. LLM이 음향 신호에 근거해 잘못된 슈도라벨을 능동적으로 "정정"하여 고품질 학습 타깃을 만들고, 이를 ASR 파인튜닝에 반복 재투입하는 협력 루프를 돌린다. 그 결과 저품질 라벨을 버리는(filtering) 기존 방식과 달리 오디오 정보를 버리지 않으면서 오류 누적을 억제하며, Earnings·SPGISpeech·AMI 등 다양한 벤치마크에서 지도학습·슈도라벨 베이스라인을 일관되게 능가한다. 정정기의 지식은 최종적으로 ASR 모델에 증류(distill)되므로 배포 모델은 여전히 가볍다.
1. 연구 배경 — 왜 슈도라벨링이 문제인가?
1-1. E2E ASR의 도메인 적응 병목
- Conformer, Whisper, OLMoASR 등 종단간(End-to-End) ASR은 대규모(주로 약지도) 웹 스케일 데이터로 학습되어 범용 성능은 뛰어나다.
- 그러나 특정 도메인(전문 분야), 특이한 억양(accent), 저자원 언어에 정밀 적응하려면 여전히 사람이 라벨링한 고품질 데이터가 필요하다.
- 이런 정답(ground-truth) 라벨은 비용이 크고 희소하다 → 라벨은 부족하지만 라벨 없는 오디오는 풍부한 상황에서 강력한 모델을 실제로 배포하기 어렵다는 병목.
1-2. 준지도학습(SSL)과 슈도라벨링(PL)
- 이를 완화하는 대표 전략이 준지도학습(Semi-Supervised Learning), 특히 슈도라벨링(Pseudo-Labeling)이다.
- 구조: "교사(teacher)" ASR 모델이 라벨 없는 대량 오디오를 전사(transcribe) → 이 전사를 타깃으로 삼아 "학생(student)" 모델을 파인튜닝.
- 치명적 한계 — 오류 전파(error propagation): 교사 모델은 오인식을 하기 마련이고, 이 노이즈가 낀 슈도라벨로 학생을 학습시키면 오류가 오히려 강화(확증편향, confirmation bias)되고 최적화가 불안정해진다.
1-3. 기존 해법의 한계 — "버리기(filtering)"의 역설
- 표준 대응책은 신뢰도(confidence)·불확실성(uncertainty) 기반으로 저품질 슈도라벨 샘플을 걸러 버리는(filtering) 것이다.
- 그러나 이는 종종 차선책(suboptimal)이다. 저신뢰 라벨 샘플을 폐기하면, 그 오디오에 담긴 잠재적으로 유용한 음향 정보까지 함께 버려지기 때문이다.
-> ReHear는 "버리기" 패러다임에서 벗어나, 노이즈 슈도라벨을 능동적으로 "정정(refine)"하자고 제안한다.
2. 핵심 아이디어 — 오디오 인식 LLM을 정정기로
- ReHear는 멀티모달 오디오 LLM(Audio LLM)의 창발적 능력을 활용한다.
- 멀티모달 정정기(multimodal corrector): 초기 ASR 가설 그리고 원본 오디오를 동시에 조건으로 받는다.
- 왜 오디오가 중요한가: 텍스트만 보는 정정기는 문법 편집기 수준에 그쳐 음성적(phonetic) 오류를 고칠 수 없다. 반면 정정을 음향 신호에 직접 근거(grounding)시키면, 음소 수준의 모호성을 해소하고 텍스트만으로는 불가능한 심각한 오인식까지 복구할 수 있다.
- 협력 루프(collaborative loop): 베이스 ASR 모델과 오디오 LLM이 상호 강화. LLM이 ASR의 초기 예측을 정제해 고품질 타깃을 만들고, 이를 다음 ASR 파인튜닝에 투입 → 자기개선(self-improving) 동역학.
- 효율성 포인트: 실행 시점(run-time)마다 무거운 오디오 LLM을 돌리는 선행 연구와 달리, 정정기의 지식을 ASR 모델에 증류하므로 최종 배포 시스템은 경량·고효율로 유지된다.
3. 방법론 — ReHear 반복 루프 (Algorithm 1)
전체 프로토콜은 ASR 모델 ( M_A )와 오디오 LLM 정정기 ( M_L ) 사이의 자기개선 학습 루프다. 각 반복(iteration)마다 아래 4단계를 순차 수행한다.
입력: 라벨 데이터 ( $D_L = {(x_l, y_l)}$ ), 라벨 없는 데이터 ( $D_U = {x_u}$ )
단계 1 — ASR 추론 (ASR inference)
현재 ASR 모델 ( $M_A$ )가 두 데이터셋 모두에 대해 가설을 생성한다.
- 라벨 데이터: 삼중항 ( ($x_l$, $y_l$, $y'_l$) ) 생성 (여기서 ( $y'_l = M_A(x_l)$ )). → 정정기 ( $M_L$ ) 학습용 예시.
- 비라벨 데이터: 초기 노이즈 슈도라벨 ( $y'_u = M_A(x_u)$ ) 생성. → 정정 대상(입력).
단계 2 — LLM 학습 (LLM training)
오디오 LLM ( $M_L$ )을 ASR 오류 정정(error correction) 태스크로 파인튜닝한다.
- 입력: 오디오 ( $x_l$ ) + 가설 ( $y'_l$ ) (멀티모달), 목표: 정답 ( $y_l$ ).
- 손실(인과적 언어모델 손실):
$[
\mathcal{L}_{\text{LLM}} = - \sum \log P!\left(y_l \mid x_l,, \mathcal{T}(y'_l);, \theta_L\right)
]$
- ( $\mathcal{T}(\cdot)$ )는 가설을 감싸는 프롬프트 템플릿.
- 효과: ASR 모델이 만들어내는 특정 오류 패턴을 식별·수정하도록, 음향 근거(acoustic evidence)와 언어적 사전지식(linguistic prior)을 함께 활용해 학습.
단계 3 — LLM 추론 (LLM inference)
파인튜닝된 ( $M_L$ )이 비라벨셋의 노이즈 슈도라벨 ( $y'_u$ )를 정정한다.
$[
y''_u = M_L!\left(x_u,, \mathcal{T}(y'_u)\right)
]$
- (선택적) 정정 필터링: 환각(hallucination)이나 과도한 이탈(deviation) 징후를 보이는 정정 결과를 제거 → 고품질 부분집합 ( D^f_U ) 확보.
단계 4 — ASR 학습 (ASR training)
( $M_A$ )를 원본 라벨 데이터 + 필터링된 정정 슈도라벨의 결합 코퍼스로 파인튜닝한다.
$\mathcal{L}_{\text{ASR}} = \mathcal{L}_{\text{sup}}(D_L) + \mathcal{L}_{\text{semi}}(D^f_U)$
- 갱신된 ( $M_A$ )가 다음 사이클로 전달되어 루프를 닫는다(closing the loop).
- 종료 조건: 사전 정의된 최대 반복 횟수 도달, 또는 검증 성능 포화(saturation).
3-1. 두 가지 정정 필터링 전략 (환각 안전장치)
LLM이 이따금 만드는 환각으로부터 학습을 보호하기 위한 옵션 두 가지.
| 전략 | 방식 | 특징 |
|---|---|---|
| 규칙 기반 (Rule) | 원본 ASR 가설 대비 문자 이탈량·길이 일관성 제약. 심한 발산이나 반복 루프(repetition loop) 샘플 거부 | 휴리스틱, 단순·안정적 |
| 모델 기반 (Model) | 사전학습 텍스트 인코더를 이진 분류기로 파인튜닝 → 해당 정정이 초기 가설보다 더 낮은 WER을 낼지 예측 | 학습 필요, 소량 라벨에서 과적합 우려 |
4. 실험 설정
4-1. 데이터셋 — 4개 전문 도메인 코퍼스 (모두 영어)
| 데이터셋 | 규모/특성 | 평가 목적 |
|---|---|---|
| Earnings-21 | 약 39h, 9개 금융 섹터 어닝콜 | 엔티티 밀집(entity-dense) 음성, 개체명 인식 |
| Earnings-22 | 119h, 글로벌 기업 녹음 | 다양한 국제적 억양(accent) 강건성 |
| SPGISpeech | 원본 5,000h 포맷된 어닝콜 → 대표 서브셋 샘플링 | 대규모 정형 금융 오디오 |
| AMI Meeting Corpus | 100h 다자간 회의 녹음 | 자발적 대화(spontaneous), 잦은 비유창성(disfluency) |
Table 1 — 데이터 분할 통계 (시간)
| Split | Earnings-21 | Earnings-22 | SPGISpeech | AMI |
|---|---|---|---|---|
| Labeled Train | 10.76h | 21.81h | 19.46h | 16.37h |
| Labeled Val | 3.07h | 9.87h | 9.24h | 8.94h |
| Labeled Test | 4.93h | 12.41h | 11.43h | 8.68h |
| Unlabeled | 18.86h | 63.67h | 58.43h | 61.49h |
| Total | 37.63h | 107.75h | 98.55h | 95.48h |
| Avg. Duration | 24.76s | 24.13s | 9.16s | 2.56s |
4-2. 데이터 전처리
- 긴 형식(Earnings-21/22): 16kHz 표준화, 비음성 주석(웃음 등)을 통합 특수 태그로 매핑. Wav2Vec 2.0 + CTC 세그멘테이션으로 정렬(슬라이딩 윈도우, 백트래킹 8,000~100,000 프레임). 무음 간격 2s 미만 인접 세그먼트 병합, 최대 30s 청크 + 0.1s 경계 패딩.
- 사전 분할된 SPGISpeech/AMI: 정렬 생략. SPGISpeech(small)는 학습셋 10% 라벨/30% 비라벨, 검증·테스트 각 10% 유지. AMI IHM은 세션 단위로 원 학습 세션의 20%를 라벨, 나머지를 비라벨.
- 품질 관리: 0.05s 미만·30s 초과·빈 전사 세그먼트 폐기. 화자·문맥 누수 방지를 위해 원본 파일/회의 단위로 엄격 분할.
4-3. 프롬프트 템플릿
- 오디오 인식 정정(주력): *"Correct the ASR hypothesis based on the provided audio. Transcribe the speech exactly as spoken. Output strictly the corrected text without any explanations or fillers. Hypothesis:
<hypothesis>"* - 텍스트 전용 변형(오디오 없음): 앞 두 문장을 언어적 제약으로 교체 — *"Correct the ASR hypothesis by fixing typos and misspellings. Preserve the original style and do not paraphrase"*. (전사 외 잡담 생성을 막기 위해 나머지 지시는 동일)
4-4. 모델 및 하이퍼파라미터
- 베이스 ASR: Whisper-Large-v3
- 오디오 LLM 정정기: Voxtral-Mini-3B-2507
- 모델 기반 필터: DeBERTa-v3-Base
- 효율화: LoRA (rank 16, scaling 32, dropout 0.05). ASR·LLM 백본은 4-bit QLoRA(어댑터는 ASR 디코더·LLM 언어모델에 적용), 필터는 인코더에 표준 LoRA.
- 학습: 5 epoch, 글로벌 배치 128, cosine 스케줄러(10% warmup). Peak LR — ASR ( $5\times10^{-4}$ ), LLM ( $10^{-4}$ ), 필터 ( $10^{-3}$ ).
- 추론: ASR은 greedy 디코딩, LLM은 beam search(width 5).
- 규칙 필터 기준: ( $\text{CER}$ > 0.15 ), 길이비 ( [0.95, 1.15] ) 밖, 고유 토큰비 ( < 0.40 ), 숫자 불일치 ( > 2 ) → 폐기.
- 하드웨어: NVIDIA A100 8장. 각 구성 5회 독립 실행 × 3 반복, 검증 WER 최소 체크포인트 선택. WER은 표준 정규화(소문자화·구두점 제거·필러 제거) 후 산출.
4-5. 비교 베이스라인
- ISL (Iterative Supervised Learning): 반복 지도학습.
- IPL (naive): 원본 ASR 가설을 그대로 쓰는 표준 반복 슈도라벨링.
- IPL + Rule: 엄격 규칙 필터링(신뢰도 ( $\geq$ 0.95 ), 발화 속도 ( [2.0, 5.0] ) words/sec, 압축비 ( $\geq$ 0.5 ))으로 고품질 슈도라벨만 유지.
5. 주요 실험 결과
5-1. 전체 벤치마크 (Table 2 — WER %, 낮을수록 좋음)
굵게 = 최고, 각 셀은 mean±std.
| Method | E-21 Test | E-21 Unlab. | E-22 Test | E-22 Unlab. | SPGI Test | SPGI Unlab. | AMI Test | AMI Unlab. |
|---|---|---|---|---|---|---|---|---|
| ISL | 6.76 | 8.57 | 12.54 | 11.43 | 2.41 | 2.42 | 9.66 | 10.26 |
| IPL | 8.02 | 10.69 | 14.02 | 13.30 | 2.83 | 2.98 | 16.52 | 19.31 |
| IPL + Rule | 7.59 | 10.30 | 13.64 | 13.10 | 2.57 | 2.59 | 11.00 | 12.35 |
| ReHear | 6.34 | 7.87 | 12.01 | 10.63 | 2.36 | 2.23 | 9.45 | 10.30 |
| ReHear + Rule | 6.35 | 7.79 | 11.82 | 10.63 | 2.37 | 2.28 | 9.35 | 10.09 |
| ReHear + Model | 6.55 | 7.94 | 12.05 | 10.78 | 2.39 | 2.31 | 9.74 | 10.13 |
5-2. 핵심 발견
- 기존 IPL은 지도 베이스라인(ISL)조차 못 넘는 경우가 많다. 특히 Earnings·AMI처럼 어려운 데이터에서 확증편향으로 성능이 오히려 퇴화(AMI에서 IPL이 ISL 대비 크게 악화: 9.66→16.52). 엄격 규칙 필터(IPL+Rule)를 써도 ISL을 일관되게 이기지 못한다.
- ReHear는 모든 벤치마크에서 ISL·IPL을 일관되게 능가. 오디오 인식 LLM 정정으로 고품질 타깃을 만들어 오류 전파를 억제 → 풍부한 비라벨 데이터의 잠재력을 실제로 끌어냄.
- 복잡한 음향 환경에서 특히 효과적 — Earnings의 자발적 금융 내러티브, AMI의 다화자 회의에서 라벨·비라벨셋 모두 상당한 WER 감소. 이미 정확한 SPGISpeech에서도 추가 이득.
- 필터링 전략: 규칙 기반(ReHear + Rule)이 가장 안정적으로 최고 성능. 학습형 모델 필터(ReHear + Model)도 경쟁력은 있으나 소량 라벨 과적합으로 약간 제약.
- 필터 없는 순수 ReHear도 매우 강건하며 필터링된 IPL을 자주 능가 → 오디오 인식 정정기가 복잡한 사후 필터링 의존도를 크게 낮춘다는 것을 입증.
6. 절제 연구(Ablation Studies) — Earnings-21 기준
모든 절제 실험은 추가 필터링 없는 표준 ReHear로 수행.
6-1. 모달리티와 위치 (Table 3)
| Configuration | Test | Unlabeled |
|---|---|---|
| Text Only | 7.74 | 10.46 |
| Text + Audio | 6.34 | 8.02 |
| Audio + Text | 6.34 | 7.87 |
- 텍스트만 쓰면 LLM은 단순 문법 편집기에 그쳐 음성적 오류를 못 고침 → 오류율이 크게 높음.
- 오디오를 넣으면 양쪽 셋 모두 큰 이득.
- 오디오 임베딩을 가설 앞에 배치(Audio + Text)할 때 최고 성능 → 잠재적으로 틀린 텍스트를 제시하기 전에 원본 음성으로 모델을 먼저 조건화하면 오류 탐지·정정이 더 효과적.
6-2. 디코딩 전략 (Table 4)
| Strategy | Config | Test | Unlabeled |
|---|---|---|---|
| Greedy | ( N=1 ) | 6.59 | 8.67 |
| Beam | ( N=3 ) | 6.21 | 7.89 |
| Beam | ( N=5 ) | 6.34 | 7.87 |
| Sampling | ( T=0.7 ) | 6.54 | 8.72 |
- 결정론적 빔서치가 greedy·확률적 샘플링보다 일관되게 우수.
- 무작위성(sampling)은 오류 정정 태스크에 해로움 — 이 작업은 생성 다양성보다 원본 오디오에 대한 충실도(fidelity)가 우선.
- 빔 폭 ( N=3 )이 라벨 테스트셋 최저 WER, ( N=5 )가 비라벨셋 최고 → 논문은 빔서치 채택.
6-3. 반복 동역학 (Table 5)
학습 감쇠(decay) 전략: 매 반복마다 학습률 절반, epoch 1 감소 → 과적합·노이즈 누적 완화.
| Iteration | (감쇠 X) Test | (감쇠 X) Unlab. | (감쇠 O) Test | (감쇠 O) Unlab. |
|---|---|---|---|---|
| 0 | 8.98 | 10.99 | 8.98 | 10.99 |
| 1 | 6.48 | 8.06 | 6.30 | 8.06 |
| 2 | 6.35 | 7.92 | 6.43 | 7.94 |
| 3 | 6.51 | 8.07 | 6.42 | 7.99 |
| 4 | 6.75 | 8.26 | 6.48 | 8.05 |
| 5 | 6.77 | 8.34 | 6.53 | 8.06 |
- 슈도라벨링 이득은 빠르게 실현되고 2번째 반복 근처에서 WER 감소가 포화.
- 감쇠 없으면 2회 이후 성능 저하가 시작되지만, 감쇠를 쓰면 장기 반복에서도 안정적 성능 유지.
- 이 포화 관찰에 근거해 본 실험은 3 반복으로 설정(계산 효율 ↔ 성능 안정성 균형).
7. 결론 및 의의
- ReHear는 지시 튜닝된 오디오 인식 LLM을 음성인식 정정 + 반복 슈도라벨링에 활용한 준지도 프레임워크다.
- 정정 과정을 음향 특징에 직접 근거시켜, 필터링된 슈도라벨이나 텍스트 전용 정정보다 우수한 고품질 지도 신호를 생성한다.
- 다수 데이터셋 실험에서 지도학습·전통적 슈도라벨링을 일관되게 능가.
- 절제 연구는 "오디오 문맥의 결합"이 오류 감소의 결정적 요인임을 입증 → 비라벨 음성으로 성능을 끌어올리는 데이터 효율적 경로를 제시.
8. 개인 코멘트 / 시사점
- 패러다임 전환 포인트: "저품질 라벨은 버린다(filter)"에서 "능동적으로 고친다(refine)"로의 전환이 핵심. 버리면 오디오 정보까지 함께 잃는다는 지적이 설득력 있다.
- 오디오 grounding이 진짜 열쇠: Table 3에서 텍스트 전용 대비 오디오 결합의 격차(7.74→6.34)가 크다. 텍스트 LM 후처리로는 음소 오류를 못 고친다는 기존 통념을 정량적으로 확인. HiKE의 "음성적 전사 오류"나 Denoising-LM 계열 연구와 함께 놓고 볼 만하다.
- 배포 효율 설계가 실무적: 무거운 오디오 LLM(Voxtral-3B)은 학습 시점 정정기로만 쓰고, 최종엔 Whisper에 지식을 증류 → 런타임엔 경량 ASR만 배포. "큰 모델로 데이터를 정제하고 작은 모델을 배포"라는 실전 레시피.
- 금융 도메인(Capital One) 저자다운 벤치마크 선택: Earnings/SPGISpeech 등 엔티티 밀집·정형 금융 음성 중심. 도메인 적응이 절실하지만 라벨이 비싼 전형적 산업 시나리오에 맞춤.
- 아쉬운 점: 모두 영어 단일 언어 실험이라 다국어·코드스위칭 일반화는 미검증. 모델 기반 필터가 소량 라벨 과적합으로 규칙 기반에 밀린 점, 반복이 2회 만에 포화하는 점은 "정정기의 상한"을 시사하기도 한다.
본 요약은 arXiv:2602.18721v1 원문을 기반으로 작성되었습니다.