본 문서는 스트리밍 자동 음성 인식(ASR)을 위한 경량 모델 Moonshine v2(arXiv:2602.12241, Moonshine AI)를 분석하고, 해당 논문이 인용하고 있는 선행 기술들(CTC, RNN-T, TDT, FastConformer, RoPE, SwiGLU, Schedule-Free 옵티마이저 등)의 이론적 배경을 함께 정리한다. Whisper와 같은 full-attention 인코더 기반 ASR 모델은 매 프레임이 모든 다른 프레임에 직접 어텐션할 수 있어 높은 정확도를 달성하지만, 이러한 전역 의존성은 시퀀스 길이에 대해 이차(quadratic) 복잡도를 유발하고 "전체 발화를 다 인코딩해야 디코딩이 시작되는" 지연시간 프로파일을 만든다. Moonshine v2는 위치 임베딩을 전혀..

본 문서는 지식 증류(Knowledge Distillation, KD) 기반의 경량 음성인식 모델 ASKD-Whisper(arXiv:2601.19919)를 분석하고, 해당 방법론이 이론적으로 기반하고 있는 지식 증류의 원류 논문(Hinton et al., 2015; Kim et al., 2021)을 함께 정리한다.대규모 파운데이션 모델인 Whisper는 그 자체로 배포할 경우 지연시간과 연산 비용 측면에서 실용성이 떨어진다. 이에 대한 대표적 해결책이 지식 증류이나, 표준 KD를 자동 음성 인식(ASR)에 그대로 적용할 경우 오히려 student 모델의 성능이 teacher 모델에 미치지 못하는 역설적 현상이 반복적으로 보고되어 왔다. OKESTRO 및 세종대학교 연구진이 제안한 ASKD-Whisper는..

한 줄 요약Pseudo2Real은 준지도 ASR의 고질병인 "슈도라벨(pseudo-label)의 체계적·억양특이적 오류"를, 저품질 라벨을 버리는(filtering) 방식이 아니라 파라미터 공간에서 직접 "교정"하는 아주 단순한 기법이다. 핵심 관찰은 하나다 — 소스 도메인에서 동일한 사전학습 가중치로부터 (1) 정답 라벨로 파인튜닝한 모델 $ \theta_{s}^{real} $ 과 (2) 슈도라벨로 파인튜닝한 모델 $ \theta_{s}^{pseudo} $을 만들면, 두 모델의 가중치 차이$$ \tau = \theta_{s}^{real} - \theta_{s}^{pseudo} $$가 곧 "슈도라벨이 만들어내는 체계적 편향"의 방향(보정 벡터)을 담는다. 타깃 도메인에는 정답이 전혀 없어도, 슈도라벨로 ..

한 줄 요약ReHear는 준지도 ASR의 고질병인 "슈도라벨(pseudo-label)의 오류 전파·확증편향"을 해결하기 위해, 텍스트만 보는 기존 정정기(corrector)와 달리 ASR의 초기 가설(hypothesis)과 원본 오디오를 함께 조건으로 받는 오디오 인식(audio-aware) LLM을 자기학습 루프에 넣는 프레임워크다. LLM이 음향 신호에 근거해 잘못된 슈도라벨을 능동적으로 "정정"하여 고품질 학습 타깃을 만들고, 이를 ASR 파인튜닝에 반복 재투입하는 협력 루프를 돌린다. 그 결과 저품질 라벨을 버리는(filtering) 기존 방식과 달리 오디오 정보를 버리지 않으면서 오류 누적을 억제하며, Earnings·SPGISpeech·AMI 등 다양한 벤치마크에서 지도학습·슈도라벨 베이스라인..

한 줄 요약오디오 모델의 활성값(activation)은 비전·NLP 모델과 달리 극단적으로 넓은 동적 범위를 가져 표준 캘리브레이션으로는 대부분의 값이 같은 정수 레벨로 뭉개진다. 이 논문은 캘리브레이션을 명시적 최적화 문제로 정식화하고, 1) 레이어별 MSE 최소화로 스케일 초기화(로컬) → 2) CMA-ES로 전체 스케일 벡터를 태스크 오차 기준 공동 최적화(글로벌) 하는 2단계 기법 ESC를 제안한다. 완전 INT8에서 성능 무손실, 완전 INT4에서도 5개 음성 태스크 전반에서 기존 캘리브레이션을 일관되게 능가하며, SOTA PTQ와 결합 시 근사 무손실(AST 정확도 상대 1% 하락)을 달성한다. TensorRT 배포 시 평균 2.31배 추론 가속.1. 배경 및 문제의식양자화(quantizati..

Whisper 이후 오픈소스 ASR 판도를 바꿀 만한 모델이 또 하나 나왔다. Alibaba Qwen 팀의 Qwen3-ASR(arXiv:2601.21337)이다. 단순히 "정확한 ASR 모델 하나"가 아니라, ASR 2종(1.7B/0.6B) + LLM 기반 강제정렬(Forced Alignment) 모델 1종을 묶은 패밀리를 Apache 2.0 라이선스로 통째로 풀었다. 30개 언어(한국어 포함)와 22개 중국 방언을 지원하고, 노래 인식과 스트리밍까지 하나의 모델로 처리한다.1. 왜 주목할 만한가: LALM 패러다임ASR은 Transducer, AED(Whisper류) 같은 전통적인 end-to-end 패러다임에서 LALM(Large Audio-Language Model) 패러다임으로 넘어가는 중이다. ..