[논문 리뷰] Light-Weighted Korean Speech Recognition System for Edge Devices(Wang et al.)
📱 엣지 장치를 위한 경량화된 한국어 음성인식 모델 분석
Light-Weighted Korean Speech Recognition System for Edge Devices
왕유승 · 우상민 · 김창익 (KAIST 전기및전자공학부) · 2023년 대한전자공학회 추계학술대회 논문집, pp. 161–164
| 저자 | 왕유승(Yooseung Wang), 우상민(Sangmin Woo), 김창익(Changick Kim) |
| 소속 | 한국과학기술원(KAIST) 전기및전자공학부 |
| 출처 | 2023년 대한전자공학회 추계학술대회 논문집 pp.161–164 (국문 4쪽, DBPIA 수록). arXiv 아님 |
| 코드/가중치 | 공개 없음 |
| 주제 | 30M 파라미터 이하 온디바이스 환경을 겨냥한 경량 한국어 ASR의 구조·하이퍼파라미터 최적화 분석 |
📌 한 줄 요약
휴대폰급 저연산 환경(파라미터 30M 이하)을 목표로, Conformer 인코더 + LSTM 디코더 + CTC 손실이라는 고정된 골격 위에서 입력 특징 종류 · 인코더 폭(EHU) · 디코더 폭(DHU) · Conformer 블록 구성요소 · 노이즈 증강을 차례로 바꿔 가며 CER 변화를 보고한 국내 학술대회 분석 논문이다. 핵심 관찰은 같은 CER 대역을 디코더 폭 확대가 인코더 폭 확대보다 절반 가까운 파라미터로 달성한다는 것이다.
CER만 보고되고 WER·UER은 없으며, 출력 라벨이 자소인지 음절인지 서브워드인지 본문·표·그림 어디에도 기재가 없다. 따라서 이 논문의 17%대 CER은 “출력 단위 미상 조건의 경량 한국어 CTC 베이스라인”으로만 인용할 수 있고, 단위 간 비교 연구에는 직접 투입할 수 없다.
🔑 핵심 용어 사전
| 용어 | 뜻 |
|---|---|
| EHU (Encoder Hidden Units) | 인코더 은닉 차원. 이 논문에서는 Conformer 인코더의 모델 차원(Enc. Dim.)이며 64 / 144 / 200 / 256을 비교 |
| DHU (Decoder Hidden Units) | 디코더 은닉 차원. LSTM 디코더의 은닉 크기. 표에서는 160 / 320 / 640을 비교 |
| CER (Character Error Rate) | 문자 오류율. 정답 문자열 대비 치환·삭제·삽입 문자 수의 비율 |
| CTC | Connectionist Temporal Classification. 입력 프레임과 출력 라벨의 정렬 정보 없이 학습하는 손실 함수. 블랭크 기호를 도입해 가능한 모든 정렬을 주변화 |
| Conformer | Convolution(지역 특징)과 Transformer의 Multi-Head Self-Attention(전역 특징)을 결합한 음성 인코더 블록 |
| Macaron FFN | 어텐션·컨볼루션을 두 개의 Feed-Forward 모듈이 앞뒤로 감싸는 “마카롱” 배치 |
| MFCC | Mel-Frequency Cepstral Coefficients. 멜 필터뱅크에 이산 코사인 변환을 적용해 얻는 저차원 음향 특징 |
| SpecAugment | 스펙트로그램의 시간축·주파수축 일부를 마스킹하는 증강 (원문 표기는 “SpectroAugment”) |
| RIR (Room Impulse Response) | 실내 임펄스 응답. 잔향을 모사해 음성에 합성곱으로 주입하는 증강 |
| SNR | 신호 대 잡음비(dB). 값이 클수록 잡음이 약함 |
CER의 표준 정의는 다음과 같다 ($S$: 치환, $D$: 삭제, $I$: 삽입, $N$: 정답 문자 수).
$$ \mathrm{CER} \;=\; \frac{S + D + I}{N} \tag{1} $$1. 연구 배경
원문의 배경 서술은 세 단계로 전개된다.
- 고전 → 종단간(E2E) 전환. 통계적 음향모델 기반 HMM에서 출발해, 음성의 시간적 구조를 반영하는 RNN 계열(DeepSpeech2, Listen-Attend-and-Spell)로 넘어왔다.
- Transformer 계열의 부상. Speech-Transformer가 어텐션을 음성 인식에 처음 도입했고, Conformer는 “CNN은 지역 특징에, Transformer는 전역 특징에 강하다”는 관찰을 살려 두 모듈을 융합했다.
- 한국어의 추종과 공백. 한국어 ASR 연구(Koo et al., Park et al. 등)는 대체로 Conformer를 채택했으나, Conformer 원논문이 제시한 Small / Medium / Large 세 규모의 성능만 보고했을 뿐 온디바이스 탑재가 가능한 소파라미터 영역에서의 최적화는 수행하지 않았다.
저자들이 지목한 공백은 바로 이 세 번째다. 즉 “한국어 + 30M 이하 + Conformer 계열”이라는 좁은 영역에서 어떤 설계 선택이 CER을 얼마나 움직이는지에 대한 체계적 보고가 없다는 것이다. 사용 데이터셋으로는 Korean ETRI corpus(원문 표기 “Ksonspeech”)와 NHN Diquest 데이터셋을 언급한다.
2. 핵심 아이디어 / 배경 지식
이 논문은 새로운 모델이나 손실 함수를 제안하지 않는다. 대신 다음의 고정 골격을 세우고, 그 위에서 네 축의 격자 탐색을 수행한다.
- 고정 골격: MFCC 입력 → Conformer 인코더 → LSTM 디코더 → CTC 손실
- 탐색 축 ① 입력 전처리 종류 (Raw / MFCC / Spectrogram / SpecAugment 중 선택)
- 탐색 축 ② 인코더 폭 EHU (64 → 144 → 200 → 256)
- 탐색 축 ③ 디코더 폭 DHU (160 → 320 → 640)
- 탐색 축 ④ 파라미터를 늘리지 않는 성능 향상 수단 = 노이즈 증강 (White / RIR, SNR 10·20·30)
여기에 Conformer 블록 내부 구성요소(위치 임베딩, MHSA, Macaron FFN, Swish/ReLU)를 하나씩 누적 투입하는 ablation이 더해진다.
학습 손실이 CTC이므로 이 LSTM은 자기회귀(autoregressive) 디코더가 아니라, 출력 사영 직전에 놓인 순환 계층에 가깝다. 즉 DHU 확대는 “디코더를 키운다”기보다 CTC 헤드 앞단의 순환 표현 용량을 키운다로 읽는 편이 정확하다. 원문은 이 구분을 논하지 않는다.
3. 방법론
3.1 전체 구조 (원문 그림 1(a))
저자들은 인코더·디코더의 앞뒤로 input projection과 output projection을 대칭적으로 배치했다고 밝힌다.
MFCC Transform
↓
InstanceNorm
↓
Conv. Subsample ← 시간축 다운샘플링
↓
Input Projection
↓
Conformer Encoder ← EHU (Enc. Dim.)
↓
LSTM Decoder ← DHU
↓
Output Projection
↓
Log Softmax → CTC loss3.2 Conformer 블록 (원문 그림 1(b))
아래에서 위로 다음 순서의 마카롱 구조이며, 각 모듈은 잔차 연결 $\oplus$로 결합된다.
Feed Forward → ⊕
↓
Multi-Head Self-Attention → ⊕
↓
Convolution → ⊕
↓
Feed Forward → ⊕3.3 네트워크 최적화 설계
- 파라미터 조절 손잡이로 EHU와 DHU 두 개만 사용한다. EHU 후보는 베이스라인 64에 더해 144, 200, 256.
- DHU 후보는 본문에서 “320, 640, 1280”으로 선정했다고 서술되어 있으나, 실제 보고된 표에는 160 / 320 / 640이 실려 있다(1280 없음). ⚠️ 원문 내부 불일치.
- 추가로 Transformer Scheduler와 AdamW Optimizer에 대한 분석을 실시했다고 서술하나, 해당 결과 표는 논문에 없다. ⚠️
- 파라미터를 늘리지 않고 성능을 끌어올리는 수단으로 RIR Noise와 White Noise 증강을 SNR별로 분석한다.
4. 실험 설정
| 데이터셋 | Korean ETRI Corpus 의 일부만 사용 (분할·시간 규모 미명시) |
| 배치 크기 | 50 |
| 학습률 | 0.001 |
| 손실 함수 | CTC loss |
| 옵티마이저 | Adam (본문 다른 절에서는 AdamW 분석을 언급하나 실험 절 기재는 Adam) |
| 학습 에폭 | 10 / 30 / 50 / 100 시점에서 CER 보고 |
| 평가 지표 | CER 단일 (WER·UER 없음) |
| 베이스라인 | 4.88M 파라미터 (EHU 64 · DHU 160) |
| 시드/신뢰구간 | 미보고 ⚠️ |
| 출력 모델링 단위 | 미명시 ⚠️ |
5. 주요 결과 (원문 표 재현)
표 1. 입력 타입에 따른 성능 비교 — CER (%)
| 입력 타입 | 10 epochs | 30 epochs | 50 epochs |
|---|---|---|---|
| MFCC | 33.04 | 27.54 | 23.45 |
| Spectrogram | 38.01 | 34.24 | 32.25 |
| SpecAugment | 45.27 | 40.11 | 33.86 |
세 에폭 지점 모두에서 MFCC가 가장 낮은 CER을 기록했고, 이후 모든 실험의 입력은 MFCC로 고정된다. 저자들은 “기존 한국어 연구에서는 Spectrogram이나 SpecAugment를 사용했으나 적은 파라미터에서는 오히려 MFCC가 높은 성능을 보였다”고 해석한다. 즉 저용량 모델에서는 손으로 압축한 저차원 특징이 유리하다는 관찰이다.
표 2. Encoder Hidden Units(EHU)에 따른 성능 — CER (%)
| Enc. Dim. | Params (M) | 10 | 30 | 50 | 100 |
|---|---|---|---|---|---|
| 64 (baseline) | 4.88 | 33.04 | 25.46 | 23.45 | 26.28 |
| 144 | 11.46 | 50.90 | 23.96 | 20.95 | 18.86 |
| 200 | 20.41 | 48.32 | 23.01 | 20.31 | 18.12 |
| 256 | 29.36 | 47.37 | 22.33 | 19.65 | 17.57 |
읽어야 할 점 세 가지.
- 초기 수렴 역전. 10에폭 시점에서는 넓은 모델이 오히려 훨씬 나쁘다(64→33.04 vs 144→50.90). 30에폭 이후 순위가 뒤집힌다.
- 수익 체감. 100에폭 기준 개선폭은 64→144에서 26.28%→18.86%(7.42%p)로 크고, 144→200→256에서는 0.74%p, 0.55%p로 급격히 줄어든다.
- 베이스라인의 과적합. EHU 64는 50에폭 23.45%에서 100에폭 26.28%로 되레 나빠진다. 다른 모든 설정은 단조 감소한다. 원문은 이 반전을 언급하지 않는다. ⚠️
표 3(a). Decoder Hidden Units(DHU)에 따른 성능 — CER (%)
| Dec. Dim. | Params (M) | 10 | 30 | 50 | 100 |
|---|---|---|---|---|---|
| 160 (baseline) | 4.88 | 33.04 | 25.46 | 23.45 | 26.28 |
| 320 | 11.46 | 35.35 | 22.64 | 20.54 | 17.61 |
| 640 | 15.57 | 33.70 | 21.37 | 19.36 | 17.23 |
이 논문의 핵심 대비
| 배분 방식 | 설정 | Params (M) | CER @100ep |
|---|---|---|---|
| 디코더에 투자 | DHU 640 | 15.57 | 17.23% |
| 인코더에 투자 | EHU 256 | 29.36 | 17.57% |
저자 결론: 온디바이스 경량 한국어 음성인식에서는 디코더에 파라미터를 할당하는 것이 인코더보다 더 효율적이다. 파라미터를 약 47% 적게 쓰고도 CER이 0.34%p 더 낮았다.
6. Ablation
표 3(b). Conformer Encoder 모듈 누적 투입 — CER (%)
| 구성 | 10 epochs | 30 epochs | 50 epochs |
|---|---|---|---|
| Baseline | 33.04 | 25.46 | 23.45 |
| + Positional Embedding | 35.27 | 24.99 | 23.20 |
| + Multi-Head Self-Attention | 37.27 | 24.01 | 22.01 |
| + Macaron FFN | 40.98 | 23.55 | 21.28 |
| + Swish/ReLU | 47.35 | 21.87 | 18.95 |
주목할 패턴 — 수렴 속도와 최종 성능의 정반대 방향. 구성요소를 추가할수록 10에폭 CER은 33.04 → 47.35로 단조 악화하는 반면, 50에폭 CER은 23.45 → 18.95로 단조 개선한다. 즉 Conformer의 각 모듈은 초기 학습을 느리게 만드는 대신 최종 도달점을 낮춘다. 짧은 학습 예산에서 Conformer 구성요소를 평가하면 잘못된 결론에 이를 수 있다는 실질적 경고로 읽을 수 있다. (다만 원문은 “CER이 점차 낮아짐을 확인할 수 있다”고만 서술하고 10에폭 열의 악화는 언급하지 않는다.)
표 4. 노이즈 증강에 따른 성능 — CER (%)
| Noise Type | SNR (dB) | CER (%) |
|---|---|---|
| White | 10 | 15.73 |
| White | 20 | 16.89 |
| White | 30 | 15.12 |
| RIR | 10 | 15.35 |
| RIR | 20 | 14.78 |
| RIR | 30 | 14.57 |
- 최고 성능은 RIR · SNR 30 · CER 14.57%로, 초록에서 밝힌 최종 수치와 일치한다.
- 원문은 “White Noise는 SNR 30일 때 가장 높은 성능이 나왔지만 20일 때가 10일 때보다 낮은 성능을 보였다. RIR 노이즈 또한 같은 양상을 보였다”고 서술한다. 그러나 표 4의 RIR은 30 > 20 > 10 순으로 단조 개선한다. 본문과 표가 어긋난다. ⚠️
- 노이즈 증강 실험이 어떤 파라미터 설정 위에서 수행됐는지 표에 명시되어 있지 않다. ⚠️
7. 결론
- 30M 이하 파라미터 영역에서 경량 한국어 ASR의 성능 향상 요인을 분석했다.
- 최종 구성은 MFCC 입력 + Conformer 인코더 + LSTM 디코더.
- EHU·DHU 차원에 따른 파라미터 수와 성능 관계를 확인했고, Conformer 블록의 주요 구성요소 기여를 확인했다.
- 고정된 파라미터에서 추가 개선을 위해 White Noise와 RIR Noise를 증강으로 주입했다.
- 모든 실험은 Korean ETRI Corpus 내에서 수행되었다.
초록은 최종 최고 모델을 28.91M 파라미터 · CER 14.57%로 명시한다. ⚠️ 그런데 28.91M이라는 값은 본문 어느 표에도 등장하지 않으며(표 2의 256 EHU는 29.36M, 표 3(a)의 640 DHU는 15.57M), 최종 모델의 EHU·DHU 조합이 어디에도 기재되어 있지 않다. 논문의 대표 수치를 재현할 수 있는 구성 정보가 빠져 있다.
⚠️ 원문에서 확인된 오기·불일치 정리
- 표 번호 중복 — DHU 표와 Conformer ablation 표가 모두 “표 3”이다.
- 표 3(a) 머리글 오기 — 첫 열이 “Enc. Dim.”으로 인쇄돼 있으나 내용은 디코더 차원. 본문 서술도 표 2의 문장을 복사했다.
- 표 1·표 3(b) 머리글 잔재 — 첫 열 머리글에 “Decoder”가 남아 있다(복사 흔적).
- DHU 후보 불일치 — 본문은 320·640·1280, 표는 160·320·640.
- 파라미터 수 충돌 의심 — 표 2의 EHU 144와 표 3(a)의 DHU 320이 똑같이 11.46M으로 적혀 있다. CER은 서로 다르다.
- 표 1과 표 2의 30에폭 값 불일치 — 동일 베이스라인인데 표 1 MFCC는 27.54%, 표 2 EHU 64는 25.46%(10·50에폭은 33.04·23.45로 일치).
- 본문–표 4 모순 — RIR의 SNR 경향을 White와 “같은 양상”이라 서술했으나 표는 단조 개선.
- 초록 28.91M 미출현 — 위 본문 참조.
- 절 번호 오류 — “II. 본론” 아래 2.1, 2.2 다음에 “3.3. 네트워크 최적화”가 오고, 이후 “III. 실험”에서 3.1~3.4가 다시 시작된다.
- 참고문헌 [8] 오인용 — 본문에서 DeepSpeech2의 근거로 [8]을 달았으나, 실제 [8]은 Liu et al., “CDGNet: Class distribution guided network for human parsing”, CVPR 2022로 인체 파싱 논문이다. DeepSpeech2와 무관.
- 참고문헌 [1] 제목 오기 — “Attend, and Spell (LAS)” → Listen, Attend and Spell.
- 데이터셋 명칭 오기 — “Ksonspeech” → KsponSpeech. “NHN Diguest” → NHN Diquest로 보인다.
- 참고문헌 [4]·[5] 저자 표기 동일 — 서로 다른 두 문헌에 “Sang-Min LEE Hui-Yong Bak”이 동일하게 기재되어 있어 저자 정보 신뢰가 어렵다(원 출처 대조 필요).
- 표 1 해석 문장 오기 — “CER 기준으로 MFCC가 가장 낮은 성능을 보이는 것을 기반으로”라 적었으나, 실제로는 MFCC가 가장 낮은 CER = 가장 좋은 성능이다.
8. 개인 코멘트 / 시사점
① 학술적 신규성
신규성은 낮다. 새로운 아키텍처·손실·학습 기법의 제안이 없고, 기존 Conformer + LSTM + CTC 골격에서 폭과 증강을 바꾼 격자 탐색 보고다. 4쪽 국내 학술대회 발표로 통계적 통제(다중 시드, 신뢰구간)도 없다.
다만 관찰 하나는 값이 있다: 30M 이하 영역에서 “인코더 폭 확대 vs CTC 헤드 앞단 순환 용량 확대”라는 파라미터 배분 문제를 명시적으로 대비시키고, 후자가 절반 가까운 파라미터로 동등 이상의 CER을 낸다는 수치를 제시했다. 경량 한국어 ASR에서 이 대비를 표로 보여준 국내 문헌은 드물다. 또한 ablation 표에서 드러나는 “에폭 예산에 따라 구성요소 평가가 뒤집힌다”는 패턴은 저자 자신이 논하지 않았지만 경량 모델 실험 설계에 직접 쓸모가 있다.
근거력을 깎는 요인: 단일 시드, 데이터셋 부분 사용(규모 미명시), 표 간 수치 충돌 다수, 대표 수치(28.91M / 14.57%)의 구성 미기재.
② 경량 한국어 ASR 연구와의 관계
| 축 | 관계 |
|---|---|
| 출력 단위 비교 | 무관. 출력 단위 자체가 미명시라 자소/음절/서브워드 어느 쪽 근거도 되지 못한다 |
| 경량화 | 지지. 30M 이하 한국어 CTC 모델의 국내 수치 앵커 |
| 실험 설계 | 지지 + 경고. 인코더/디코더 폭이 CER을 최대 9%p 움직이므로, 단위 간 비교 시 폭을 반드시 고정해야 한다. 통제하지 않으면 단위 효과가 폭 효과에 묻힌다 |
| 학습 예산 | 경고. 10에폭 기준 평가는 순위를 뒤집는다. 비교 판정은 수렴 후 지점에서만 |
| 입력 특징 | 참고. 저용량에서 MFCC > Spectrogram > SpecAugment. 단일 실험이라 결정 근거로는 약함 |
| 지표 체계 | 반례성 참고. CER만 보고 → 다른 연구와 단위가 달라 비교 불가. CER·WER·UER 병기가 필요한 이유의 사례 |
③ 한 줄 정리
방법론적으로는 배울 것이 적지만, “경량 한국어 ASR에서 파라미터를 어디에 쓸 것인가”라는 질문을 표로 던진 드문 국내 문헌이다. 수치를 인용할 때는 표에서 재현 가능한 15.57M / CER 17.23%를 쓰고, 초록의 28.91M / 14.57%는 구성 미기재를 병기하는 편이 안전하다.
출처
왕유승, 우상민, 김창익. 「엣지 장치를 위한 경량화된 한국어 음성인식 모델 분석」(Light-Weighted Korean Speech Recognition System for Edge Devices). 2023년 대한전자공학회 추계학술대회 논문집, pp. 161–164. 한국과학기술원 전기및전자공학부.