한 줄 요약 — 한국어 음성인식에 베이즈 딥러닝(변분 베이즈 드롭아웃)을 결합한 종단간 모델을 처음 적용한 연구. CTC·주의 기제·결합 모형을 자모 40자 출력으로 학습하고, 유한 오토마타(FA)로 초성→중성→종성 순서를 강제해 한글로 복원. 우리말샘 사전 음성 23.1시간에서 LER 4.58%·WER 26.4%로 당시 상용 API(Google 76%, Naver 35% WER)보다 우수했다.
1. 배경 — 통계학과에서 본 한국어 ASR
기존 한국어 음성인식은 음향모형(HMM) + 렉시콘 + 언어모형의 다단 구조라 음소·형태소 등 언어학 지식이 필수였다. 한국어는 교착어라 고유 단어 수가 무한히 늘어나("쓰다/씁니다/썼습니다") 단어 단위 학습이 어렵고, 형태소 단위 접근도 상당한 언어학적 지식을 요구한다. 이 논문은 종단간(end-to-end) 학습으로 중간 단계를 전부 걷어내고, 여기에 베이즈 신경망을 결합해 예측 불확실성까지 얻는 것을 시도했다 — 한국어 ASR에 베이즈 딥러닝을 적용한 최초 사례라고 저자들은 밝힌다.
2. 자모 분리 — 11,172 vs 40
이 논문에서 내 연구와 가장 관련 깊은 대목은 §4.2.2 자모 분리다. 원문 그대로:
"Y를 한글 글자의 집합으로 하면 |Y| = 11172지만 반면 Y를 한글 자모로 하는 경우 |Y| = 40으로 학습 및 디코딩 시간을 크게 줄일 수 있다."
"통계학"을 "ㅌㅗㅇㄱㅖㅎㅏㄱ"으로 디코딩한 뒤 한글로 되돌리는 방식이다. 종성 ㅇ과 초성 ㄱ을 같은 단위로 쓰므로 위치 구분이 없고, 40 = 자음 19(쌍자음 포함) + 모음 21이므로 겹받침은 분해된다. 저자들은 "간"과 "궁"처럼 초성이 같은 글자를 따로 학습하는 낭비가 사라진다는 점도 자모 분리의 이점으로 든다.
3. 모델 구성
- 전처리: MFCC 13차 + 델타 + 델타델타
- 인코더(공통): 3×3 합성곱 64필터×2 → 최대풀링 → 128필터×2 → 최대풀링 → 양방향 LSTM 1024
- 종단간 모형 3종: CTC / 주의 기제(디코더 GRU 128) / CTC+주의 기제 결합(λ=0.2)
- 베이즈 딥러닝: 드롭아웃(π=0.5)을 변분 베이즈로 해석(Gal & Ghahramani) — 점 추정(VB-Dropout)과 몬테카를로 평균(VB-Dropout-MC) 비교
- 유한 오토마타 언어모형: 초성→중성→종성 순서를 만족하는 문자열만 빔 탐색에서 허용 — 자모 출력이 한글로 복원 불가능해지는 문제를 문법 제약으로 차단
4. 결과
| 모델 (최적 조건) | LER (%) | WER (%) |
|---|---|---|
| 제안: Attention + FA (VB-Dropout) | 4.58 | 26.4 |
| Google API | 29.88 | 76.0 |
| Naver Clova | 21.65 | 35.0 |
데이터: 우리말샘 온라인 사전 크롤링 — 학습 56,990단어(23.1시간), 평가 500단어(API 비교는 100단어). 언어모형(FA) 적용 시 대부분 조건에서 향상, CTC에서 가장 큰 폭.
5. 읽으면서 걸린 것들
- LER 4.58과 WER 26.4의 간극. LER은 자모 단위로 계산한 오류율이다. 자모 단위 오류율은 낮아 보여도 자모 2~3개가 모여 한 글자가 되므로 단어 단위로는 오류가 누적된다 — 출력 단위 기준 지표가 얼마나 낙관적으로 보일 수 있는지 보여주는 사례.
- 단어 낭독 데이터라는 한계. 사전 발음 자료라 문장·자유발화가 아니고, 저자들 스스로 검증 데이터가 훈련 데이터와 유사해 편향 가능성이 있다고 인정한다. API 비교(상용 API는 자유발화용)도 그래서 공정하다고 보기 어렵다.
- FA의 향상 폭은 미미. 초중종 순서만 강제할 뿐 자음동화·구개음화 같은 음운 현상은 다루지 못한다고 저자들이 한계로 명시.
6. 내 연구 관점의 시사점
- 자소 집합 정의 계보에서 "40자 = 위치 구분 없음 + 겹받침 분해" 진영의 대표 사례. |Y|=40과 |Y|=11172가 본문에 명시돼 있어 인용 근거가 명확하다.
- LER/WER 간극은 단위 기준 지표의 비교 불가능성(Wang 2019의 UER 문제와 동일 구조)을 국내 문헌에서도 확인해 주는 사례.
- 자모 출력의 복원 가능성 문제를 후처리 모델(임솔이 2023) 이전에 문법 제약(FA)으로 풀었다는 점 — 자모 계열 연구의 해법 계보: 규칙 병합 → FA 제약 → 신경망 병합.
