[논문요약] ReHear: Iterative Pseudo-Label Refinement for Semi-Supervised Speech Recognition via Audio Large Language Models
·
인공지능/STT
한 줄 요약ReHear는 준지도 ASR의 고질병인 "슈도라벨(pseudo-label)의 오류 전파·확증편향"을 해결하기 위해, 텍스트만 보는 기존 정정기(corrector)와 달리 ASR의 초기 가설(hypothesis)과 원본 오디오를 함께 조건으로 받는 오디오 인식(audio-aware) LLM을 자기학습 루프에 넣는 프레임워크다. LLM이 음향 신호에 근거해 잘못된 슈도라벨을 능동적으로 "정정"하여 고품질 학습 타깃을 만들고, 이를 ASR 파인튜닝에 반복 재투입하는 협력 루프를 돌린다. 그 결과 저품질 라벨을 버리는(filtering) 기존 방식과 달리 오디오 정보를 버리지 않으면서 오류 누적을 억제하며, Earnings·SPGISpeech·AMI 등 다양한 벤치마크에서 지도학습·슈도라벨 베이스라인..