[논문 리뷰] 한국어 자모단위 음성인식 결과 후보정을 위한 신경망 기반 자모 병합 방법론(임솔이 et al.)

한 줄 요약 — 자모(51자) 단위 한국어 음성인식의 고질적 약점인 규칙 기반 병합의 오류 전파를, mBART 아키텍처를 처음부터 학습한 신경망 자모 병합 모델로 해결. 잘못 인식된 자모까지 교정하면서 음절 문장으로 변환해, 규칙 기반 대비 CER 17.2%·WER 13.1%(상대, eval-clean) 개선.

1. 왜 이 연구가 필요한가

한국어 음성인식에서 출력 단위를 음절로 두면 클래스가 약 2,904자에 이른다. 희귀 음절은 학습 데이터에 몇 번 안 나오니 성능이 떨어지고 학습 비용도 커진다. 그래서 자모 51자(ㄱ–ㅎ, ㅏ–ㅞ)로 인식하는 접근이 제안됐지만(이원준 2021), 자모 시퀀스를 음절로 되돌리는 병합이 규칙 기반이라는 한계가 있었다.

규칙 기반 병합은 인식이 완벽하면 문제없다. 하지만 자모 하나라도 잘못 인식되면 병합 결과가 그대로 깨진다. 예컨대 모델이 "ㄷㅗㅜㅁ"으로 잘못 인식하면 규칙 병합은 "도ㅜㅁ"이라는 비문을 그대로 출력한다.

2. 핵심 아이디어 — 병합을 신경망에 맡기고 오류 교정까지

파이프라인은 두 단계다.

1. 자모 단위 음성인식: Wav2Vec2.0 인코더 + CTC 디코더, 출력 사전은 자모 51자
2. 신경망 자모 병합: 자모 시퀀스 → 완성된 음절 문장. 이 과정에서 오인식 자모를 함께 교정

병합 모델은 mBART의 인코더-디코더 아키텍처를 가져오되, 사전학습 가중치는 쓰지 않았다. 자모라는 새로운 단위를 입력으로 받기 때문에 기존 사전학습 모델을 재사용할 수 없어서다. 토크나이저는 SentencePiece 32,000 토큰.

노이즈 데이터 증강이 이 논문의 실질적 기여

병합 모델이 "틀린 자모 → 올바른 문장" 교정을 배우려면 실제 인식 오류가 담긴 학습 데이터가 필요하다. 무작위로 자모를 바꿔치기하는 대신, 일부러 약한 음성인식 모델(WER 0.3 이상인 중간 체크포인트)을 돌려 실제 모델이 흔히 저지르는 오류 패턴을 수집했다. 학습 데이터를 5분할해 4개로 학습하고 남은 1개에 추론하는 kFold 방식을 5회 반복해 노이즈 텍스트를 만들었다.

3. 실험 설정

용도	데이터	규모
음성인식 학습	KsponSpeech 오디오	1,000시간
병합 모델 학습	KsponSpeech 텍스트 (+노이즈 증강)	600,000문장
	모두의 말뭉치 (일상대화 2020)	870,162문장
	kowikitext	14,528,095문장

학습: NVIDIA A100-80GB 8장, 유효 배치 320, AdamW, lr 3e-4. ASR 30 epochs / 병합 모델 10 epochs. dev CER 최저 체크포인트 채택.

4. 결과

모델	DEV		EVAL-CLEAN		EVAL-OTHER
	CER	WER	CER	WER	CER	WER
규칙 기반 (baseline)	12.97	27.87	11.87	28.24	13.74	34.44
자모 병합 모델 (제안)	9.75	22.22	9.83	24.58	11.00	29.45

상대 개선율 — DEV: CER 24.8%·WER 20.2% / eval-clean: CER 17.2%·WER 13.1% / eval-other: CER 19.9%·WER 14.5%

정성 예시가 흥미롭다

인식된 자모	규칙 병합	신경망 병합	오류 유형
ㅇㅐㄷㅡㄹㅎㅏㄴㅌㅔㄷㅗㅜㅁㅂㅏㄷㅇㅏㅆㅈㅣ	애들한테 도ㅜㅁ 받았지	애들한테 도움 받았지	인식 오류
ㅇㅏㄴㅐㄱㅏ ㅈㅗㅁ ㄴㅏㅈㄷㅏ	아내가 좀 낮다	아내가 좀 낫다	동음이표기
ㅇㅏㅁㅜㄹㅐㄷㅗ ㅇㅣㅈㅔ ㅎㅏㄴㅅㅏㄹ…	아무래도 이제 한살 한살이	아무래도 이제 한 살 한 살이	띄어쓰기

특히 두 번째 예시 — "낮다"와 "낫다"는 발음이 같아서 음향 정보만으로는 구분이 불가능하다. 신경망 병합 모델이 문맥으로 이걸 골라낸다는 건, 이 모델이 사실상 가벼운 언어모델 역할까지 하고 있다는 뜻이다.

5. 한계

• 병합 모델의 크기·지연이 미보고. mBART 아키텍처면 결코 가볍지 않을 텐데, 후처리 모델을 얹은 전체 파이프라인의 파라미터·추론 비용이 없다. 온디바이스 관점에서는 이게 핵심 정보다.
• 절대 성능(eval-clean CER 9.83)은 병합 모델을 얹고도 최근 대형 모델 보고치와 비슷한 수준 — 다만 베이스 인식기(Wav2Vec2.0+CTC)의 체급을 감안하면 공정한 비교는 아니다.
• 5쪽 학술대회 논문으로 시드 반복이나 유의성 검정은 없다.

6. 내 연구 관점의 시사점

• 자모 단위의 불리함이 "인식 단계"에서 오는지 "병합 단계"에서 오는지 분리해야 한다는 것을 보여주는 논문. 자모 vs 음절 비교 실험에서 자모 조건의 오류를 해석할 때 이 분해 관점이 필요하다.
• "낮다/낫다" 사례는 표기 단위와 음가 단위가 갈라지는 지점을 정확히 보여준다 — 자소 집합을 표기 기준으로 정의할지 음가 기준으로 정의할지가 왜 결과에 영향을 주는지에 대한 실증 사례.
• 다만 출력 단위 자체의 공정 비교가 목적이라면, 이런 후처리 모델은 비교 조건을 오염시키므로 단일 모델 종단간 비교와는 별도 축으로 두어야 한다.