본 문서는 지식 증류(Knowledge Distillation, KD) 기반의 경량 음성인식 모델 ASKD-Whisper(arXiv:2601.19919)를 분석하고, 해당 방법론이 이론적으로 기반하고 있는 지식 증류의 원류 논문(Hinton et al., 2015; Kim et al., 2021)을 함께 정리한다.
대규모 파운데이션 모델인 Whisper는 그 자체로 배포할 경우 지연시간과 연산 비용 측면에서 실용성이 떨어진다. 이에 대한 대표적 해결책이 지식 증류이나, 표준 KD를 자동 음성 인식(ASR)에 그대로 적용할 경우 오히려 student 모델의 성능이 teacher 모델에 미치지 못하는 역설적 현상이 반복적으로 보고되어 왔다. OKESTRO 및 세종대학교 연구진이 제안한 ASKD-Whisper는 이러한 현상의 원인을 증류 가중치의 정적(static) 특성에서 찾고, 훈련 진행 중 증류 방식 자체를 동적으로 전환하는 2단계 커리큘럼 프레임워크를 제안한다. 실험 결과 152M~740M 파라미터 규모의 경량 모델임에도 5배의 추론 가속과 함께 1.5B 파라미터 teacher 모델 대비 더 낮은 WER을 달성하였다.
본 문서의 후반부에서는 ASKD 방법론이 이론적으로 기반하고 있는 지식 증류의 원류 논문(Hinton et al., 2015)을 수식과 함께 상세히 검토한다. 이를 통해 본 문서만으로 ASKD-Whisper와 지식 증류의 핵심 개념을 함께 파악할 수 있도록 구성하였다.
1. 서론: 표준 지식 증류의 한계
대형 파운데이션 모델을 실시간·엣지 환경에 배포하기 위해서는 모델 압축이 필수적이다. 저자들은 표준 KD가 ASR에 적용될 때 발생하는 두 가지 실패 모드를 지적한다.
- Capacity gap 문제: student 모델의 표현력이 teacher 모델보다 현저히 작을 때, 고정된 증류 가중치를 크게 부여하면 student는 teacher의 복잡한 로짓 분포를 충분히 학습하지 못하고, teacher의 예측 오류 및 환각까지 그대로 암기하는 경향을 보인다.
- 정적 의존성(static dependency): 훈련 전 구간에 걸쳐 동일한 증류 강도를 유지할 경우, 학습 초반에는 유효했던 teacher 지식이 후반부에는 student의 독립적 일반화 능력 획득을 저해하는 요인으로 작용한다.
실제로 4-1절의 ablation 실험에서, 표준 KD와 Pseudo-Labeling을 결합한 방법(distil-Whisper)은 teacher 모델보다 낮은 성능을 보였다. 이는 KD 적용이 항상 성능 향상으로 이어진다는 통념에 반하는 결과이다.
2. 제안 방법론: AKD-SKD 2단계 커리큘럼
ASKD(Adaptive Self-Knowledge Distillation)는 단일 훈련 과정을 시간축 상에서 두 단계로 분할하는 프레임워크이다.
| 단계 | 명칭 | 목적 | 지식 소스 |
|---|---|---|---|
| Phase 1 (초반) | AKD (Adaptive Knowledge Distillation) | 언어·음향 표현의 신속한 초기화 | 외부 teacher (Whisper) |
| Phase 2 (후반) | SKD (Self-Knowledge Distillation) | 구조적 정규화 및 독립적 일반화 | student 자신의 과거 epoch 예측 |
단계 전환은 AKD 가중치가 임계값 λ 이하로 감소하는 시점에 이루어지며, 이후에는 SKD 손실만이 사용된다. 이는 "신속한 초기화(teacher 지식 활용)"와 "장기적 일반화(자기 증류를 통한 정규화)"라는 상충하는 두 목표를 시간적으로 분리하여 동시에 달성하고자 하는 설계이다.
2-1. Phase 1 — Adaptive Knowledge Distillation (AKD)
표준 KD 손실 함수에 시간에 따라 감쇠하는 가중치를 도입한 형태이다.
$$\mathcal{L}_{AKD} = \alpha_{AKD}^{e} \cdot \tau^{2} \cdot D_{KL}\left(P_S^{\tau} \,\|\, P_T^{\tau}\right)$$
$$\alpha_{AKD}^{e} = \alpha_{AKD}^{initial} - \frac{e - E_w}{E_t}$$
여기서 \(P_S^{\tau}, P_T^{\tau}\)는 온도 τ로 스케일된 student 및 teacher의 softmax 예측 분포이며(Hinton의 표준 KD와 동일한 온도 스케일링 기법으로, 6장에서 상술한다), \(E_t\)는 총 epoch 수, \(E_w\)는 워밍업 epoch 수를 의미한다. 논문에서 사용된 실험 설정은 \(\alpha_{AKD}^{initial}=1,\ E_t=10,\ E_w=2\)이며, 이 경우 3번째 epoch부터 선형적으로 감쇠하여 7번째 epoch 부근에서 λ=0.5 이하로 감소한다. 높은 초깃값으로 훈련을 시작함으로써 teacher의 어휘·음향 매핑을 신속히 흡수하되, 이후 가중치 감쇠를 통해 student가 teacher의 토큰 단위 환각을 암기하기 전에 하드 라벨 기반 Cross-Entropy의 비중을 점진적으로 높이는 방식이다.
2-2. Phase 2 — Self-Knowledge Distillation (SKD)
AKD 가중치가 λ 이하로 감소하면, student는 자기 자신의 직전 epoch 예측을 소프트 타깃으로 사용하여 스스로를 증류한다.
$$\mathcal{L}_{SKD} = \mathrm{CE}\Big((1-\alpha_{SKD}^{e})\,y + \alpha_{SKD}^{e}\,P_S^{(e-1)},\; P_S^{(e)}\Big)$$
$$\alpha_{SKD}^{e} = \alpha_{SKD}^{initial} \times \frac{e}{E_t}$$
\(y\)는 원-핫 하드 라벨이며, \(\alpha_{SKD}^{e}\)는 AKD와 반대로 훈련이 진행됨에 따라 증가한다(실험 설정값 \(\alpha_{SKD}^{initial}=0.8\)). 훈련 초기의 자기 예측은 신뢰도가 낮으므로 그 비중을 낮게 부여하고, 훈련이 진행되어 예측이 안정화될수록 비중을 높이는 방식이다. 하드 라벨에만 의존할 경우 잡음이 많은 구간에서 모델이 과도하게 확신(overconfident)하는 경향이 나타나는데, 완화된 자기 타깃은 레이블 스무딩과 유사한 정규화 효과를 제공하는 동시에 토큰 간 의미적 유사도 정보를 보존한다. 이러한 손실 형태는 6-2절에서 다루는 Kim et al.(2021)의 Self-KD와 수식 구조상 거의 동일하다.
3. 모델 아키텍처 및 실험 설정
Whisper의 사전학습된 인코더는 동결(freeze)한 상태로 유지하고, 표준 멀티헤드 어텐션 디코더를 3-layer SwiGLU 기반 경량 디코더로 교체하였다.
| 모델 | 파라미터 | 구성 |
|---|---|---|
| ASKD-Whisper-small | 152M | Whisper-small 인코더 + 3-layer SwiGLU 디코더 |
| ASKD-Whisper-large | 740M | Whisper-large-v3 인코더 + 3-layer SwiGLU 디코더 |
학습 데이터는 LibriSpeech(960h), TED-LIUM3(453h), LJSpeech(24h), Earnings-22(105h, 전문용어가 많은 실적발표 음성), AMI(78h, 중첩 대화)로 구성되며 총 1,620시간이다. 이와 별도로 훈련에 전혀 사용되지 않은 GigaSpeech 및 VoxPopuli를 통해 OOD(out-of-distribution) 일반화 성능을 검증하였다.
4. 실험 결과
4-1. 증류 방식별 Ablation (ASKD-Whisper-small, WER %)
| 방법 | Test-clean | Test-other | Earnings-22 |
|---|---|---|---|
| Baseline (Teacher, Whisper-small) | 3.05 | 7.25 | 13.0 |
| Standard KD + PL (distil-Whisper-S) | 3.45 | 7.71 | 13.2 |
| SKD Only | 5.82 | 11.5 | 16.8 |
| AKD Only (ours) | 3.06 | 7.66 | 12.2 |
| ASKD (ours, Full) | 2.95 | 7.63 | 11.8 |
표준 KD+PL은 전 도메인에서 오히려 teacher 대비 성능이 저하되었으며, 이는 capacity gap 문제를 실증적으로 뒷받침한다. SKD 단독 적용 시에는 초기 표현 학습이 불충분하여 가장 낮은 성능을 보였고, AKD와 SKD를 결합한 전체 ASKD만이 teacher 모델을 상회하는 결과를 나타냈다.
4-2. SOTA 비교 (ASKD-Whisper-large, 평균 WER)
| 모델 | 학습 데이터 | 파라미터 | 평균 WER |
|---|---|---|---|
| Whisper-large-v3 (teacher) | 680,000h | 1.5B | 7.44 |
| distil-Whisper-L | 22,000h | 0.75B | 7.70 |
| Canary | 31,200h | 1.0B | 6.82 |
| CrisperWhisper | 10,000h | 1.5B | 6.36 |
| ASKD-Whisper-large | 1,634h | 0.74B | 6.37 |
distil-Whisper 대비 13배 적은 학습 데이터로도 더 낮은 WER을 달성하였다. 특히 AMI(중첩 대화)에서 teacher 대비 -5.4%p, Earnings-22(전문용어)에서 -0.9%p의 절대적 개선을 보였는데, 이는 잡음이 많은 실제 환경에서 ASKD의 정규화 효과가 두드러짐을 시사한다.
4-3. 지연시간 및 OOD 일반화 성능
| 모델 | 상대 지연시간 | VoxPopuli WER | GigaSpeech WER |
|---|---|---|---|
| Whisper-large-v3 | ×1.0 (659ms) | 9.54 | 10.0 |
| ASKD-Whisper-large | ×5.0 (132ms) | 9.59 | 10.2 |
3-layer 디코더로 과감하게 축소하였음에도, 완전히 미학습된 도메인에서 teacher 모델과의 성능 차이는 0.2%p 이내에 불과하였다. 이는 모델 압축에 따른 손실이 사실상 상쇄되었음을 의미한다.
임계값 λ에 대한 민감도 분석 결과, λ=0.5(전환점)에서 최적 성능이 관찰되었다. λ=0.9로 설정하여 teacher 의존도를 과도하게 유지할 경우 student가 노이즈까지 암기하는 semantic saturation이 유발되었으며, λ=0.1로 설정하여 전환이 지나치게 이르게 이루어질 경우에는 기초 표현 학습이 불충분하였다. 다만 λ∈{0.3, 0.7} 범위 내에서는 WER 변동폭이 0.05% 이하로 나타나, 해당 하이퍼파라미터에 대해 비교적 강건한 것으로 확인되었다.
5. 논의: 한계 및 시사점
- 본 연구는 영어 코퍼스에 대해서만 검증되었으며, 형태론적으로 복잡하거나 저자원인 언어에서 λ 및 SwiGLU 디코더의 효과가 동일하게 나타나는지는 검증되지 않았다.
- 평가가 단문 및 발화 단위에 국한되어 있어, 멀티시간 팟캐스트·회의와 같은 장시간 오디오에서 시퀀스-투-시퀀스 모델 특유의 반복·환각 문제에 대해 SKD의 정규화 효과가 동일하게 확장되는지는 향후 검증이 필요하다.
- "더 큰 teacher가 더 좋은 student를 만든다"는 가정이 항상 성립하는 것은 아니며, teacher 의존도를 스케줄링하는 절차 자체가 일종의 정규화로 기능한다는 점은 경량 모델 훈련 전략 수립 시 참고할 만한 시사점이다.
- 인코더 동결과 디코더 경량화, 커리큘럼 기반 KD를 결합한 접근법은 한국어를 포함한 다른 언어의 Whisper 파생 모델에도 적용 가능한 방법론으로 판단된다.
6. 지식 증류(Knowledge Distillation)의 이론적 배경
ASKD의 두 단계는 각기 다른 선행 연구에 이론적 기반을 두고 있다. AKD는 Hinton, Vinyals & Dean(2015)이 정식화한 teacher-student 온도 스케일링 KD로부터 직접 파생된 것이며, SKD는 Kim et al.(2021)이 제안한 Self-KD(PS-KD)의 손실 함수를 거의 그대로 차용한 것이다. 두 원류 논문에 대한 이해는 ASKD-Whisper의 방법론을 정확히 파악하는 데 필수적이므로, 이하에서 각각을 상세히 검토한다.
6-1. Hinton, Vinyals & Dean (2015) — "Distilling the Knowledge in a Neural Network"
지식 증류라는 개념을 최초로 정식화한 논문이다(arXiv:1503.02531; NeurIPS 2014 Deep Learning Workshop에서 최초 발표). 문제의식은 다음과 같다: 대형 모델 혹은 대형 앙상블은 훈련 시점에 막대한 연산 자원을 투입하여 최고 성능을 달성할 수 있으나, 배포 시점에는 지연시간·메모리·에너지 제약으로 인해 그대로 활용하기 어렵다. 저자들은 "모델이 학습을 통해 획득한 지식"과 "그 지식이 저장되는 파라미터 구조"를 분리할 수 있다고 보고, 지식만을 소형 모델로 전이하는 방법을 제안한다.
기존 방식과 같이 정답 하드 라벨만으로 소형 모델을 학습시킬 경우, 대형 모델이 학습 과정에서 축적한 클래스 간 유사도 정보가 소실된다. 예를 들어 숫자 이미지 분류에서 '2'를 '3'으로 오분류할 확률이 '2'를 '7'로 오분류할 확률보다 유의하게 높다는 정보는, 하드 라벨만으로는 전달될 수 없다.
① 온도 스케일링 Softmax — 표준 softmax 대신 온도 파라미터 T를 도입한 변형을 사용한다.
$$q_i = \frac{\exp(z_i/T)}{\sum_j \exp(z_j/T)}$$
T=1일 때는 일반 softmax와 동일하며, T가 증가할수록 확률 분포가 평탄화(soft)되어 상위 클래스 이외의 클래스들에 대한 상대적 확신도 차이까지 관측할 수 있게 된다. 이때 드러나는 클래스 간 관계 정보를 저자들은 "dark knowledge"로 명명하였다.
② 증류 손실 함수 — student 모델은 다음 두 목표를 동시에 학습한다: (1) 실제 하드 라벨에 대한 표준 Cross-Entropy(T=1), (2) teacher의 온도 T 소프트 타깃에 대한 Cross-Entropy(student 역시 동일한 T로 softmax를 적용).
$$\mathcal{L} = (1-\lambda)\,\mathrm{CE}\big(y,\ \mathrm{softmax}(z_S)\big) \;+\; \lambda\, T^{2}\, \mathrm{CE}\big(\mathrm{softmax}(z_T/T),\ \mathrm{softmax}(z_S/T)\big)$$
두 번째 항에 T²을 곱하는 것은 본 논문의 핵심적인 실용적 기여 중 하나이다. 소프트 타깃에 대한 그래디언트의 크기는 대략 \(1/T^2\)에 비례하여 감소하므로, 하드 라벨 항과 소프트 타깃 항의 그래디언트 스케일을 일치시키기 위해서는 보정 계수 T²을 곱할 필요가 있다. 이러한 보정이 없을 경우 T를 변경할 때마다 두 손실 항의 상대적 영향력이 의도치 않게 달라지는 문제가 발생한다. ASKD의 AKD 손실(2-1절 수식 참조)은 이러한 T² 보정 개념을 그대로 계승한 형태이며, 고정 가중치 λ 대신 시간에 따라 감쇠하는 \(\alpha_{AKD}^e\)를 사용한다는 점에서만 차이를 보인다.
③ 주요 실험 결과
- MNIST 실험: student 네트워크의 훈련 데이터에서 숫자 '3'에 해당하는 이미지를 전부 제거하였음에도, teacher의 소프트 타깃(dark knowledge)만으로 학습된 student는 테스트 시 '3'을 상당한 수준으로 인식하였다. 이는 소프트 타깃이 명시적으로 관측되지 않은 클래스에 대한 정보까지 전달할 수 있음을 보인 대표적 실험이다.
- 음성 인식 실험: Android Voice Search용 대규모 acoustic model 앙상블(10개 모델)을 단일 모델로 증류한 결과, 프레임 정확도 손실이 앙상블 대비 미미한 수준에 그쳤다. 이는 ASKD-Whisper와 마찬가지로 ASR 도메인에서 KD의 실효성을 최초로 실증한 사례에 해당한다.
- 스페셜리스트 네트워크: 혼동되기 쉬운 클래스들의 부분집합에 대해 정교하게 학습된 다수의 스페셜리스트(specialist) 모델을 훈련하고, 이를 단일한 제너럴리스트 모델로 증류하는 앙상블 압축 기법 또한 함께 제안하였다. 이는 이후 다양한 모델 압축 연구의 출발점이 되었다.
6-2. Kim, Ji, Yoon & Hwang (2021) — Self-Knowledge Distillation (PS-KD)
정식 명칭은 "Self-knowledge distillation with progressive refinement of targets"(ICCV 2021)이다. 본 연구는 별도의 teacher 없이, 모델이 자기 자신의 과거 epoch 예측을 소프트 타깃으로 활용하도록 KD를 확장하였다. 매 epoch e마다 하드 라벨과 직전 epoch의 자기 예측을 선형 결합하여 타깃을 구성한다.
$$\mathrm{target}^{(e)} = (1-\alpha^{e})\,y + \alpha^{e}\,p^{(e-1)}$$
여기서 \(\alpha^e\)는 훈련 진행도에 따라 점진적으로 증가한다. 이는 훈련 초반의 부정확한 자기 예측에는 낮은 비중을, 훈련 후반의 안정화된 예측에는 높은 비중을 부여하기 위함이다. 이 방식은 별도의 teacher 네트워크나 추가 파라미터 없이도 label smoothing 이상의 정규화 및 캘리브레이션 개선 효과를 보였다.
ASKD의 Phase 2(SKD) 손실은 PS-KD의 정식화를 사실상 그대로 채택한 것이며, ASKD의 본질적 기여는 "AKD(외부 teacher 활용) → SKD(자기 증류)"로 전환하는 커리큘럼 스케줄을 새롭게 결합하였다는 점에 있다.
6-3. 두 지식 증류 메커니즘의 비교
| 구분 | Hinton et al. (2015) 표준 KD | Kim et al. (2021) Self-KD (PS-KD) |
|---|---|---|
| 지식 소스 | 별도의 사전학습된 teacher | 모델 자신의 과거 epoch 예측 |
| 손실 형태 | T²로 보정된 KL/CE, 고정 가중치 λ | 하드 라벨과 과거 예측의 선형 결합 CE |
| 가중치 스케줄 | 일반적으로 고정 | 훈련 진행도에 따라 점진적 증가 |
| ASKD에서의 역할 | Phase 1 (AKD)의 이론적 근거 | Phase 2 (SKD)의 손실 함수 직접 차용 |
| 주요 효과 | 클래스 간 유사도(dark knowledge) 전이, 모델 압축 | 과확신 억제, 정규화 및 캘리브레이션 개선 |
7. 결론
ASKD-Whisper는 지식 증류 과정에서 teacher 의존도를 훈련 진행에 따라 동적으로 조절하는 프레임워크를 제안하고, 이를 통해 정적 KD의 고질적 한계인 capacity gap 문제와 teacher 환각 전이 문제가 완화됨을 실험적으로 입증하였다. 특히 SKD 단계에서의 자기 증류 기반 정규화가 teacher 모델을 상회하는 일반화 성능을 가능케 한다는 결과는, 경량 음성인식 모델 설계에서 증류 전략을 정적 최적화 문제가 아닌 커리큘럼 설계 문제로 재구성할 필요성을 시사한다.
부록: 전문용어 정리
- Knowledge Distillation (KD, 지식 증류): 크고 무거운 teacher 모델의 지식을 작고 가벼운 student 모델로 전이시키는 모델 압축 기법.
- Capacity Gap: teacher와 student의 표현력(파라미터·구조적 용량) 차이가 과도하여 student가 teacher의 지식을 온전히 흡수하지 못하는 현상.
- Dark Knowledge (암묵 지식): 정답 하드 라벨 하나에는 없지만, teacher의 소프트 확률 분포(클래스 간 상대적 유사도)에 담긴 부가 정보. Hinton et al.(2015)이 명명.
- Soft Target / Soft Label: 원-핫 하드 라벨 대신, 온도로 스케일된 softmax를 통과한 확률 분포 형태의 학습 타깃.
- Temperature Scaling (온도 스케일링, T/τ): softmax(z/T) 형태로 로짓을 나누어 확률 분포를 평탄화(soft)하는 기법. T가 클수록 클래스 간 정보가 더 잘 드러남.
- Self-Knowledge Distillation (SKD, 자기 증류): 별도의 teacher 없이, 모델 자신의 과거 예측(과거 epoch, 과거 레이어 등)을 소프트 타깃으로 사용하는 증류 기법.
- Curriculum Learning (커리큘럼 학습): 학습 난이도 및 전략을 훈련 진행도에 따라 점진적으로 변화시키는 학습 전략. ASKD는 "teacher 의존 → 자기 의존"을 커리큘럼으로 설계.
- Pseudo-Labeling (PL, 의사 라벨링): 별도 모델의 예측을 라벨로 사용하여 대규모 학습 데이터를 구축하는 기법 (Distil-Whisper가 채택).
- Label Smoothing (레이블 스무딩): 원-핫 라벨을 약간 완화하여 모델의 과확신을 방지하는 정규화 기법. SKD와 목적이 유사.
- SwiGLU: GLU(Gated Linear Unit)에 Swish 활성함수를 결합한 게이팅 메커니즘. Transformer FFN에서 표준 활성함수 대비 파라미터 효율과 표현력이 우수하여 최근 LLM·디코더에서 널리 채택됨.
- WER / RTF / OOD: 각각 단어 오류율(Word Error Rate), 처리시간÷오디오길이로 정의되는 상대 지연시간 지표(Real-Time Factor, 낮을수록 빠름), 학습 분포와 상이한 도메인에 대한 평가(Out-of-Distribution)를 지칭.
- KL Divergence (쿨백-라이블러 발산): 두 확률분포 간의 차이를 측정하는 지표. 표준 KD 손실의 핵심 구성요소.
- PS-KD (Progressive Self-Knowledge Distillation): Kim et al.(2021)이 제안한 Self-KD 기법의 명칭. 훈련 진행도에 따라 자기 예측 타깃의 비중을 점진적으로 증가시킴.
참고문헌
- Lee, J., Kim, N., & Chun, C.-J. (2026). ASKD-Whisper: Adaptive Self-Knowledge Distillation for Efficient and Low-Latency Automatic Speech Recognition. arXiv:2601.19919.
- Hinton, G., Vinyals, O., & Dean, J. (2015). Distilling the Knowledge in a Neural Network. arXiv:1503.02531.
- Kim, K., Ji, B., Yoon, D., & Hwang, S. (2021). Self-knowledge distillation with progressive refinement of targets. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 6567–6576.
※ 본 문서는 ASKD-Whisper 논문(arXiv:2601.19919v2, 2026-06-01) 및 관련 인용 논문의 내용을 요약·정리한 것이다.
