[논문 리뷰] Pseudo2Real: Task Arithmetic for Pseudo-Label Correction in Automatic Speech Recognition (Lin et al.)
·
인공지능/STT
한 줄 요약Pseudo2Real은 준지도 ASR의 고질병인 "슈도라벨(pseudo-label)의 체계적·억양특이적 오류"를, 저품질 라벨을 버리는(filtering) 방식이 아니라 파라미터 공간에서 직접 "교정"하는 아주 단순한 기법이다. 핵심 관찰은 하나다 — 소스 도메인에서 동일한 사전학습 가중치로부터 (1) 정답 라벨로 파인튜닝한 모델 $ \theta_{s}^{real} $ 과 (2) 슈도라벨로 파인튜닝한 모델 $ \theta_{s}^{pseudo} $을 만들면, 두 모델의 가중치 차이$$ \tau = \theta_{s}^{real} - \theta_{s}^{pseudo} $$가 곧 "슈도라벨이 만들어내는 체계적 편향"의 방향(보정 벡터)을 담는다. 타깃 도메인에는 정답이 전혀 없어도, 슈도라벨로 ..
VirtualJin
'unsupervised domain adaptation' 태그의 글 목록