[논문 리뷰] Evolution Strategy-Based Calibration for Low-Bit Quantization of Speech Models (Rakotoarivony)
·
인공지능/STT
한 줄 요약오디오 모델의 활성값(activation)은 비전·NLP 모델과 달리 극단적으로 넓은 동적 범위를 가져 표준 캘리브레이션으로는 대부분의 값이 같은 정수 레벨로 뭉개진다. 이 논문은 캘리브레이션을 명시적 최적화 문제로 정식화하고, 1) 레이어별 MSE 최소화로 스케일 초기화(로컬) → 2) CMA-ES로 전체 스케일 벡터를 태스크 오차 기준 공동 최적화(글로벌) 하는 2단계 기법 ESC를 제안한다. 완전 INT8에서 성능 무손실, 완전 INT4에서도 5개 음성 태스크 전반에서 기존 캘리브레이션을 일관되게 능가하며, SOTA PTQ와 결합 시 근사 무손실(AST 정확도 상대 1% 하락)을 달성한다. TensorRT 배포 시 평균 2.31배 추론 가속.1. 배경 및 문제의식양자화(quantizati..
VirtualJin
'Audio' 태그의 글 목록