[논문 리뷰] Pseudo2Real: Task Arithmetic for Pseudo-Label Correction in Automatic Speech Recognition (Lin et al.)

 

 

 한 줄 요약

Pseudo2Real은 준지도 ASR의 고질병인 "슈도라벨(pseudo-label)의 체계적·억양특이적 오류"를, 저품질 라벨을 버리는(filtering) 방식이 아니라 파라미터 공간에서 직접 "교정"하는 아주 단순한 기법이다. 핵심 관찰은 하나다 — 소스 도메인에서 동일한 사전학습 가중치로부터 (1) 정답 라벨로 파인튜닝한 모델 $ \theta_{s}^{real} $ 과 (2) 슈도라벨로 파인튜닝한 모델 $ \theta_{s}^{pseudo} $을 만들면, 두 모델의 가중치 차이

$$ \tau = \theta_{s}^{real} - \theta_{s}^{pseudo} $$

가 곧 "슈도라벨이 만들어내는 체계적 편향"의 방향(보정 벡터)을 담는다. 타깃 도메인에는 정답이 전혀 없어도, 슈도라벨로 파인튜닝한 모델 $ \theta_{t}^{pseudo} $ 에 이 벡터를 스케일링해 더하기만 하면

$$ \theta_{t}^{corrected} = \theta_{t}^{pseudo} + \lambda \cdot \tau $$

인식 성능이 크게 오른다. AfriSpeech-200의 10개 아프리카 억양 실험에서 Whisper TINY 기준 평균 WER을 89.3 → 57.7 (상대 35% 개선) 로 낮췄고, 일부 억양에서는 타깃 정답으로 학습한 topline마저 능가한다. 추론 시 추가 비용이 전혀 없고(가중치 덧셈 한 번), 타깃 라벨을 한 개도 요구하지 않는 것이 최대 강점이다.

 

1. 연구 배경 — 왜 "슈도라벨 교정"이 필요한가?

1-1. 도메인 시프트 + 라벨 부족이라는 이중고

• ASR은 스마트 어시스턴트, 의료 전사, 저자원 억양/언어 등으로 빠르게 확산 중이다.
• 그러나 모델이 새로운 도메인(낯선 억양·환경) 을 만나면 라벨 데이터가 희소하거나 아예 없다. 고품질 전사 수집은 비싸고 느리며, 프라이버시·법적 제약으로 불가능하기도 하다.

1-2. 슈도라벨링(Pseudo-Labeling)의 함정 — 교사의 편향을 그대로 상속

• 표준 우회책: 기존 ASR(교사)로 라벨 없는 오디오를 전사해 슈도라벨을 만들고, 이를 타깃으로 학생 모델을 학습.
• 문제: 슈도라벨은 교사 모델의 체계적 편향(systematic bias) 을 그대로 물려받는다.
  • 희귀 단어 미인식(under-recognition)
  • 억양에 의한 음소 치환(accent-driven substitution)
  • 도메인 특유의 분절 오류(mis-segmentation)
• 이 오류들은 적응 과정에서 누적·강화(confirmation bias) 되어 실제 성능을 오히려 떨어뜨린다.

1-3. 기존 해법의 한계 — "억제"는 하지만 "교정"은 못 한다

• 신뢰도 필터링(confidence filtering) / 모델 간 합의 검사(agreement check): 노이즈 샘플을 버리거나 가중치를 낮출 뿐, 교사에서 비롯된 구조적 편향 자체를 고치지는 못한다.
• 반복 자기학습(Noisy Student) / 이동평균 교사(EMA teacher, KAIZEN): 슈도라벨 품질을 높이지만 여러 번의 패스와 세심한 튜닝이 필요하고, 여전히 교사의 반복 오류를 전파한다.

-> 연구 질문: 타깃 도메인에 정답 주석이 전혀 없을 때, ASR 슈도라벨의 체계적 오류 패턴을 어떻게 완화할 것인가?

 

2. 핵심 아이디어 — 파라미터 공간의 "보정 벡터"

• Pseudo2Real은 Task Arithmetic(태스크 벡터) (Ilharco et al., 2023)에 기반한다. 사전학습 모델 $ \theta_{pre} $ 과 파인튜닝 모델의 차이(delta)가 특정 능력·태스크를 담는 방향 벡터로 작동한다는 개념이다.
• 이론적 근거: Linear Mode Connectivity(Frankle et al., 2020)와 weight disentanglement(Ortiz-Jimenez et al., 2023). 동일 초기화에서 파인튜닝된 모델들은 공유된 저손실 영역에 머물러, 그 가중치 차이가 임의 노이즈가 아니라 의미 있는 방향으로 해석된다.
• 핵심 관찰: 소스 도메인에 정답 라벨과 슈도라벨이 모두 존재하면, 두 라벨 타입으로 학습한 모델 사이의 방향을 학습할 수 있고, 이 방향이 곧 해당 도메인에서 슈도라벨이 유발하는 체계적 편향을 포착한다.
• 적용: 타깃 도메인의 슈도라벨 학습 모델에 이 방향의 스케일링 버전을 더하면, 파라미터가 소스에서 식별한 "pseudo→real 축" 을 따라 이동한다.

SYN2REAL과의 차이 (가장 가까운 선행 연구)

구분	SYN2REAL (Su et al., 2024)	Pseudo2Real (본 논문)
벡터를 만드는 두 모델	실제 vs. 합성(TTS) 오디오 학습	동일 실제 오디오의 정답 vs. 슈도라벨 학습
메우려는 격차	음향 신호 분포 격차(합성↔실제)	라벨 노이즈 편향
적용 대상	주로 새 텍스트 도메인	새 음향 도메인(억양)
다중 벡터 구성	도메인 라벨에 의존	자동 화자 클러스터링(SC), 도메인 라벨 불필요

 

3. 방법론

3-1. 문제 정의

• 소스 도메인 $D_s$: 음성·텍스트 쌍 $ (S_{s}, T_{s}) $ 제공.
• 타깃 도메인  $D_t$: : 라벨 없는 음성 $ S_{t} $ 만 제공 (정답 $ T_{t} $  없음).
• 표준 전략(소스로 교사 학습 → 타깃에 슈도라벨 생성 → 학생 학습)은 교사 편향을 상속. 목표: 타깃 정답 없이 체계적 슈도라벨 오류를 자동 탐지·완화.

3-2. Pseudo2Real — 단일 보정 벡터

동일 백본 $\theta_{pre}$에서 소스 도메인 두 학생 모델을 파인튜닝한다.

• $\theta^{real}_{s}$: 정답 라벨 $ (S_{s}, T_{s}) $ 로 학습
• $\theta^{pseudo}_{s}$ : 슈도라벨 $ (S_{s}, \hat{T}_{s}) $로 학습 (교사가 소스에 생성)

두 모델의 차이가 보정 벡터다.

$$ (1) \quad \tau = \theta_{s}^{real} - \theta_{s}^{pseudo} $$

타깃에서는 $ (S_{s}, \hat{T}_{s}) $ 로 $\theta^{pseudo}_{t}$ 를 얻은 뒤 보정 벡터를 더한다.

$$ (2) \quad \theta_{t}^{corrected} = \theta_{t}^{pseudo} + \lambda \cdot \tau $$

λ는 교정 강도를 조절하는 스케일링 팩터.

3-3. Pseudo2Real-SC — 서브그룹 보정 벡터

• 동기: 슈도라벨 오류는 화자마다 균질하지 않다(억양·발음 습관·녹음 조건). 모든 화자를 뭉뚱그려 하나의 벡터를 만들면 미세한 편향이 희석된다.
• 방법: ECAPA-TDNN 임베딩으로 발화별 화자 표현을 추출하고 k-means 클러스터링으로 소스를 화자 서브그룹으로 분할. 각 클러스터 c마다 $ \theta_{s,c}^{real}, \theta_{s,c}^{pseudo} $를 학습해 서브그룹 벡터를 구한다.

$$ (3) \quad \tau_{c} = \theta_{s,c}^{real} - \theta_{s,c}^{pseudo} $$
$$ (4) \quad \theta_{t}^{corrected} = \theta_{t}^{pseudo} + \left( \frac{\lambda}{C} \right) \cdot \sum_{c=1}^{C} \tau_{c} $$

→ 화자 전반의 공통 편향은 잡으면서 억양·서브그룹 특이적 교정도 보존.

3-4. 베이스라인 & Topline (6 베이스라인 + 1 topline)

구분	방법	설명
무적응 참조	θ_pre	사전학습 Whisper를 타깃에 그대로 적용
무적응 참조	θ_s^real	소스 정답으로만 학습 (타깃 감독 없음)
직접 베이스라인	θ_t^pseudo	타깃 슈도라벨로 파인튜닝 (Pseudo2Real이 이기려는 대상)
라벨공간 (Conf.)	신뢰도 필터링	단어단위 평균 log-prob이 dev 임계값 넘는 슈도라벨만 사용
라벨공간 (EC)	오류 교정	소스 (가설,정답) 쌍으로 학습한 T5-base로 타깃 슈도라벨 재작성 후 학습
가중치공간 (EMA)	지수이동평균	학습 중 학생 가중치의 이동평균(β=0.999)을 평가에 사용
Topline	타깃 정답 학습	타깃 정답 라벨로 파인튜닝한 상한선 참조

Pseudo2Real도 가중치공간 방법이지만, 학습 궤적 평균(EMA)이 아니라 소스에서 유도한 보정 벡터를 쓴다는 점이 다르다.

 

4. 실험 설정

4-1. 데이터셋 — AfriSpeech-200 (억양 영어)

• AfriSpeech-200(Olatunji et al., 2023): 120개 아프리카 억양, 200시간 영어 음성, 명시적 억양 주석 제공.
• 샘플 수 상위 10개 억양 선택(train/dev/test 3분할이 모두 있는 억양만, 공식 split 유지해 누수 방지). 각 억양 라벨은 화자의 모국어 배경을 뜻함(예: "Igbo" = Igbo 모어 화자의 억양 영어).

4-2. Cross-Fold 검증 — 어족까지 갈라놓은 설계

• 10개 억양을 발화·화자 수가 비슷한 두 fold로 분할.
  • Fold 1: Igbo, Swahili, Hausa, Zulu, Twi
  • Fold 2: Yoruba, Ijaw, Afrikaans, Idoma, Setswana
• 한 fold를 소스(정답+슈도라벨로 보정 벡터 유도), 다른 fold를 타깃(슈도라벨용 음성만)으로 쓰고 역할을 교대.
• 핵심: 10개 억양은 지리적으로만 아프리카일 뿐 Niger–Congo / Afro-Asiatic / Indo-European 세 개의 서로 다른 어족에 걸쳐 성조·음절구조·자음체계·형태론이 크게 달라, 어족을 넘는 적응은 매우 비자명하다.

억양	어족	하위분류
Igbo / Yoruba / Idoma	Niger–Congo	Volta–Niger (Idoma는 Idomoid)
Swahili / Zulu / Setswana	Niger–Congo	Bantu (Sabaki/Nguni/Sotho–Tswana)
Twi	Niger–Congo	Kwa (Akan)
Ijaw	Niger–Congo	Ijoid
Hausa	Afro-Asiatic	Chadic
Afrikaans	Indo-European	Germanic

4-3. 모델 & 학습

• 모델: Whisper 전 계열 — TINY(39M) · BASE(74M) · SMALL(244M) · MEDIUM(769M) · LARGE-v2(1.55B). 학생은 주로 TINY/SMALL을 완전 파인튜닝(full fine-tune).
• 학습: AdamW, LR 3e-5, weight decay 0.1, 최대 40K step, warmup 500, batch 16, FP16. 50 step마다 WER 평가(greedy). 보정 벡터는 전체 파라미터로 계산.
• 스케일링 팩터 λ: 소스 dev set에서 λ ∈ {0.1, …, 1.0} 그리드 서치로 WER 최소값 선택(타깃 정보 미사용).
• 자원: 단일 NVIDIA V100, 총 약 500 GPU-hours.

 

5. 주요 실험 결과

5-1. Table 1 — 10개 억양 타깃 WER (%), 낮을수록 좋음

Whisper TINY (teacher = student = TINY)

Variant	Igbo	Swahili	Hausa	Zulu	Twi	Yoruba	Ijaw	Afrik.	Idoma	Setsw.	Avg.
θ_pre	93.2	77.7	142.8	79.0	73.3	94.8	191.2	54.4	182.9	75.6	106.5
θ_s^real	60.1	67.3	135.3	70.8	53.8	105.0	155.8	51.8	128.2	54.4	88.2
θ_t^pseudo	61.8	70.5	119.6	75.2	59.4	112.3	157.7	52.5	129.0	55.0	89.3
Conf.	73.0	58.7	147.7	56.0	57.7	97.8	194.6	52.0	107.2	41.9	88.7
EC	81.7	64.5	93.0	79.4	75.6	122.2	137.2	47.8	83.7	53.1	83.8
EMA	88.2	62.4	131.8	79.4	74.7	122.0	167.1	57.4	140.1	63.8	98.7
Pseudo2Real	60.3	51.9	78.8	67.0	45.5	61.3	61.3	45.4	60.7	44.8	57.7
topline	65.7	45.8	54.1	59.7	88.0	56.1	58.1	41.4	112.4	44.8	62.6

Whisper SMALL

Variant	Igbo	Swahili	Hausa	Zulu	Twi	Yoruba	Ijaw	Afrik.	Idoma	Setsw.	Avg.
θ_pre	56.4	49.6	60.6	49.7	49.7	62.8	63.2	41.3	66.0	49.7	54.9
θ_t^pseudo	53.1	39.9	58.2	41.1	37.5	57.2	52.4	36.4	55.8	40.7	47.2
Pseudo2Real	46.5	42.3	78.0	38.5	35.0	44.1	47.1	32.4	48.9	37.1	45.0
topline	49.6	35.7	52.5	36.8	35.0	41.3	45.4	29.5	47.7	36.2	41.0

5-2. 핵심 발견

1. 베이스라인은 전반적으로 부진. 사전학습 $\theta_{pre}$는 저자원 억양(Hausa·Ijaw·Idoma)에서 WER 100+로 무너지고, 슈도라벨 파인튜닝( $\theta^{pseudo}_{t}$ )은 개선은 되나(TINY 평균 -17.2점) 체계적 편향 탓에 여전히 높다. Conf./EC/EMA도 일관된 이득을 못 준다(EMA는 오히려 악화).
2. Pseudo2Real은 모든 억양에서 큰 개선. TINY 평균 89.3 → 57.7 (35% 상대 개선), SMALL 47.2 → 45.0으로 topline(41.0)에 근접.
3. 어려운 억양에서 특히 강력. Ijaw·Idoma·Yoruba에서 슈도라벨 대비 최대 50점 WER 감소.
4. 가끔 topline마저 능가. TINY는 Igbo·Twi·Idoma, SMALL은 Igbo에서 타깃 정답 학습 모델을 이긴다 → 보정 벡터가 노이즈 상쇄뿐 아니라 타 도메인의 유익한 규칙성(음향 정규화·발음 일관성)을 전이하는 교차도메인 정규화 역할.

5-3. 왜 topline을 이길까? — 삽입 오류(hallucination) 분석 (Table 3)

tiny→tiny에서 topline을 이긴 Twi·Igbo의 오류 유형:

억양	모델	치환(Sub.)	삽입(Ins.)	삭제(Del.)
Twi	Pseudo2Real	238	262	11
Twi	Topline	251	670	4
Igbo	Pseudo2Real	1933	3577	205
Igbo	Topline	2004	3748	189

→ Pseudo2Real은 삽입 오류를 일관되게 줄인다(Twi 670→262). 삽입은 소량 타깃 파인튜닝이 잘 못 잡는 환각 패턴인데, 보정 벡터가 소스에서 반환각(anti-hallucination) 정규화를 함께 전이함을 시사.

5-4. 교사 모델 크기별 일반화 (Table 2, fold 1의 5개 억양)

• TINY 학생: BASE·LARGE 교사에서 최고 이득(각 +21.7%, +21.6%). BASE는 Igbo(+29.0%)·Twi(+31.3%), LARGE는 Hausa(+45.8%)에서 최대. SMALL/MEDIUM 교사는 이득이 작고(+8.4%/+4.4%) 억양별 편차 존재.
• SMALL 학생: 전반적으로 이득이 작다. MEDIUM 교사 +5.2%, LARGE 교사는 평균 +0.1%로 혼조(Igbo +14.0% vs Hausa -18.8%).
• 결론: 교사–학생 쌍과 타깃 억양에 따라 이득 크기는 달라지지만, 다양한 교사 크기에서 폭넓게 유효.

5-5. 스케일링 팩터 λ의 영향 (Figure 3)

• 모든 전이 설정에서 U자형 추세: λ를 0에서 키우면 WER 감소 → 0.2~0.3 부근에서 최소, 그 이상은 과교정(over-correction)으로 급증.
• 작은 λ(0.1~0.2)도 무보정(λ=0) 대비 일관되게 개선 → 가벼운 파라미터 교정은 대체로 안전·유익.
• LARGE→TINY는 고 λ에서 불안정(큰 교사의 강한 신호를 작은 학생이 흡수하기 어려움).

 

6. Pseudo2Real-SC & 절제 연구(Ablation)

6-1. SC(서브그룹) vs 단일 벡터 (Table 4, SMALL 학생, k=8)

Teacher	Variant	Igbo	Swahili	Hausa	Zulu	Twi	Avg.
Medium	Pseudo2Real	40.3	37.3	63.4	39.3	35.2	43.10
Medium	Pseudo2Real-SC	41.1	37.3	49.6	38.9	35.4	40.46 (+4.0%)
Large	Pseudo2Real	40.1	45.3	65.3	39.8	36.2	45.34
Large	Pseudo2Real-SC	40.3	40.8	53.9	39.2	35.4	41.92 (+6.1%)

• SC는 단일 벡터 대비 성능을 유지·향상. MEDIUM 교사 +4.0%(Hausa +21.8% 견인), LARGE 교사 +6.1%(Hausa +17.5%, Swahili +9.9%).
• 단, Igbo는 두 교사 모두에서 소폭 저하 → 과도한 평균화가 억양특이 교정을 약화할 수 있음. 이득은 교사 용량이 이질적 화자 변이를 모델링할 만큼 클 때 두드러진다.

6-2. 클러스터 수(k) 절제 (Figure 4, LARGE→SMALL)

• k를 1(무클러스터)→2→4→8로 늘리면 WER이 45.36 → 44.34 → 43.68 → 41.94로 단조 감소. 더 세밀한 클러스터링이 국소적 화자·억양 교정 패턴을 포착.
• 다만 클러스터당 두 모델(real/pseudo)을 학습해야 하므로 연산비 증가. 실무적으로 k=4~8이 성능·효율 균형점.

 

7. 사례 연구 (Case Study)

대표 예 (Ijaw, Table 5)

• 정답: *"...none of the equipment has survived."*
• 교사 슈도라벨: "survived"를 음향적으로 유사하지만 무의미한 "as a vif" 로 오인식 → 학생이 이를 상속해 "is a vice"로 붕괴.
• Pseudo2Real: "survives"로 복원 → 교사에서 상속된 음향적 오염을 교정.

추가 예 (Table 8)

• Example 1 (억양 유발 어휘 혼동): 교사가 "said"를 억양 탓에 "side"로 오인 → 학생 전파. Pseudo2Real이 "said"로 복원.
• Example 2 (교사 환각): 교사가 없는 "full stop" 토큰을 삽입 → 학생 전파. Pseudo2Real이 환각 토큰을 제거하고 "May Day" 어휘를 복원.

→ 파라미터 공간 교정이 상속된 환각 억제 + 음향–텍스트 정렬 강화를 동시에 수행함을 정성적으로 확인.

 

8. 결론 및 의의

• Pseudo2Real은 타깃 정답 없이 슈도라벨의 체계적 오류를 파라미터 공간에서 교정하는 단순·효과적 UDA 기법.
• AfriSpeech-200 10개 아프리카 억양 × 다중 Whisper 크기에서 일관된 이득, TINY 최대 35% 상대 WER 감소, 일부 억양에서 topline 능가.
• 화자 클러스터링 변형 Pseudo2Real-SC가 여러 교사–학생 설정에서 추가 개선.
• 향후: 다국어·자발화 확장, 동적 λ 스케일링, 보정 벡터 해석성 분석, 추론 시 화자 특성 기반 클러스터 조건부 벡터, k>8 확장.

 

9. 개인 코멘트 / 시사점

• 극도의 단순함 = 실무 매력: 추론 오버헤드가 0(가중치 덧셈 한 번), 별도 정정 모델(T5 등)·반복 루프 불필요. "보정 벡터 하나 더하기"만으로 35% 개선은 비용 대비 효과가 탁월하다.
• 진짜 UDA: 타깃 라벨을 단 한 개도 요구하지 않는다. 소스 도메인에만 정답이 있으면 되고, λ도 소스 dev로만 튜닝 → 실배포 시 타깃 주석 수집 부담 제거.
• 모델 머징/태스크 벡터 흐름의 ASR 응용: SYN2REAL의 자연스러운 후속. "라벨 노이즈 방향"을 명시적 벡터로 분리해 제거한다는 발상이 깔끔하다. 무거운 정정기(LLM)를 쓰는 접근(예: 오디오 LLM 기반 정정)과 달리 "고치는 주체"가 가중치 산술(weight arithmetic) 한 번이라는 점이 대비된다 — 두 접근은 상호 보완 가능.
• 아쉬운 점 / 한계:
  1. 영어 억양 단일 실험 → 다국어·코드스위칭·자발화 미검증(저자도 한계로 명시).
  2. 소스 감독 필수 — 소스가 작거나 대표성이 낮으면 벡터가 underfit.
  3. 정상성(stationarity) 가정 — 소스에서 관찰된 편향이 타깃에서도 재현된다고 전제. 채널·녹음 조건이 다르면 역효과 가능.
  4. λ 튜닝 필요 + 과교정 위험(U자형). 배포마다 재튜닝 부담.
  5. 전체 파라미터 full fine-tune 기반 — LoRA/부분 파인튜닝에서의 벡터 유효성은 미검증(경량화 관점 아쉬움).
• 적용 아이디어: Whisper 한국어/도메인 적응 시, 라벨 있는 소스 도메인(정제된 사내 데이터 등)과 슈도라벨 버전으로 보정 벡터를 만들어, 라벨 없는 신규 도메인(회의·의료·특정 화자군)의 슈도라벨 파인튜닝 모델을 저비용으로 후처리 보정하는 실험이 시도해볼 만하다. 화자군이 이질적이면 SC(클러스터링) 변형이 유효할 가능성.

본 요약은 arXiv:2510.08047v2 원문(16p)을 기반으로 작성되었습니다.