[논문 리뷰] MLMA: Towards Multilingual ASR with Mamba-based Architectures (Ali et al.)

본 문서는 Mamba(상태공간모델, SSM) 기반의 다국어 음성 인식 모델 MLMA(arXiv:2510.18684, Fondazione Bruno Kessler)를 분석한다. 6개 유럽 언어·약 12,000시간 규모로 학습된 최초의 다국어 Mamba ASR 시스템으로, 유사 크기의 Conformer 대비 전 실험에서 낮은 WER을 달성하며 상태공간모델의 다국어 확장성을 실증한 연구이다.

다국어 ASR은 고자원·저자원 언어 간 성능 균형을 맞추기 어려운 과제다. 현재 지배적인 Transformer 기반 아키텍처는 시퀀스 길이에 대한 이차 복잡도, 저자원 언어에는 부족한 대량의 라벨 데이터 요구, 큰 모델 크기로 인한 배포 제약이라는 뚜렷한 단점을 가진다. 가변 길이 입력과 시간적 불규칙성을 다루도록 설계된 Mamba는 이러한 제약에서 상대적으로 자유로우며, 서로 다른 리듬·음소 구조를 가진 언어 전반에 걸쳐 일반화할 잠재력을 지닌다.

1. 서론 및 문제의식

단일 모델로 여러 언어를 학습하는 다국어 ASR은 공유된 음향·발음 표현을 통한 교차언어 전이로 자원 격차 문제를 완화할 잠재력을 갖는다. Mamba는 lookahead와 unimodal aggregation(UMA) 같은 메커니즘으로 스트리밍 ASR도 지원하여, 빠른 발화 전환이나 성조 변화가 있는 언어에서도 실시간성과 인식 정확도를 함께 유지하는 데 유리하다. Mamba를 다국어 ASR에 통합함으로써 얻는 이점은 다음과 같다.

• 메모리 효율적 설계로 인한 학습·추론 비용 절감
• 순차적 귀납 편향(sequential inductive bias)을 통한 언어 간 공유 음소 구조의 포착 — 코드스위칭·저자원 언어에 유리
• 언어 추가 시 계산량이 비례하여 늘지 않는 확장성

본 연구는 약 12,000시간, 6개 언어로 학습된 MLMA를 통해 이를 실증하며, 이는 Mamba 기반 최초의 다국어 ASR 시스템이다.

2. 관련 연구: ASR을 위한 Mamba

Mamba는 음성 분리·향상 등에 이미 적용되어 선형시간 복잡도로 긴 시퀀스를 낮은 연산비용으로 모델링하는 특성이 검증되었다. 그러나 기존 Mamba 기반 ASR 연구는 Transformer 백본 내부 구조를 교체하는 데 그치거나, LibriSpeech-100과 같은 소규모 데이터셋에서 단일 언어 또는 최대 이중언어로 제한되어 매칭 조건(matched condition)에서만 검증되었다는 공통된 한계를 갖는다. Mamba의 다국어 효과성을 대규모로 시험한 선행 연구는 부재했으며, 본 연구가 6개 유럽 언어·약 12,000시간 규모에서 이를 최초로 검증한다.

3. 제안 방법론

3-1. Mamba 개요: 구조화 상태공간모델(SSM)

Mamba의 기반인 구조화 상태공간모델은 이산시간에서 다음과 같이 정의된다.

$$h_t = \bar{A} h_{t-1} + \bar{B} x_t, \qquad y_t = C h_t$$

여기서 \(h_t\)는 상태, \(\bar{A}\)는 전이행렬, \(\bar{B}\)는 입력-상태 상호작용, \(C\)는 출력 매핑이다. \(\bar{A}, \bar{B}\)는 연속시간 파라미터 \(A, B\)로부터 Zero-Order Hold(ZOH)로 근사된다.

$$\bar{A} = \exp(\Delta A), \qquad \bar{B} = (\Delta A)^{-1}(\exp(\Delta A) - I)\cdot \Delta B$$

학습은 연속형 파라미터 \(A, B\)에 대해 이루어지고 매 forward pass마다 이산형으로 변환되어, 장거리 의존성을 유지하면서도 효율적인 모델링이 가능하다. S4(Gu, Goel & Re, ICLR 2022)는 여기에 선택 메커니즘(selection mechanism)을 도입하여, 고정 행렬 대신 입력 \(x\)에 따라 \(B, C, \Delta\)를 생성하는 함수를 학습하도록 확장한다.

$$B=f_B(x), \quad C=f_C(x), \quad \Delta=\text{Broadcast}(f_\Delta(x))$$

Mamba(Gu & Dao, 2023)는 여기서 한 단계 더 나아가 선형 시불변성(LTI) 제약을 제거하여 파라미터가 시간에 따라 변할 수 있도록 함으로써, 비정상(non-stationary) 환경에서의 유연성과 장거리 문맥 의존적 행동 모델링을 강화한다.

3-2. ConMamba(Convolutional Mamba) 인코더

음성 처리에서는 지역(local)·전역(global) 특징을 모두 추출하는 것이 중요하며, Conformer·Zipformer는 컨볼루션(지역)과 셀프어텐션(전역)을 결합해 이를 달성한다. ConMamba는 동일한 원리를 따르되 멀티헤드 셀프어텐션을 Mamba 레이어로 대체하고 컨볼루션은 유지하여 지역 특징 추출을 강화한다.

$$\tilde{x} = x + \tfrac{1}{2}\text{FFN}(x)$$ $$x' = \tilde{x} + \text{Mamba}(\tilde{x})$$ $$x'' = x' + \text{Conv}(x')$$ $$y = \text{LayerNorm}\left(x'' + \tfrac{1}{2}\text{FFN}(x'')\right)$$

Mamba와 Conv 레이어의 출력이 layer normalization 이전에 합산되는 이 Macaron 스타일의 하이브리드 설계는, 음성 표현을 위한 지역·전역 특징의 효과적인 통합을 가능하게 한다.

3-3. 제안 아키텍처: MLMA

MLMA는 컨볼루셔널 트랜스포머와 양방향 Mamba 모듈(BiMamba)을 CTC 프레임워크 내에 결합한다. 입력 오디오는 80차원 log-Mel 필터뱅크로 변환·정규화된 뒤 2-블록 CNN으로 저수준 특징 추출과 시간 다운샘플링을 거친다. 18층 Transformer 인코더(hidden size 256, feed-forward 1024, dropout 0.1, GELU)가 문맥 표현을 모델링하고, Bi-Mamba 모듈(dstate=16, expand=2, dconv=4)이 장거리 의존성 포착을 보강한다. 선형 투영과 LogSoftmax로 어휘(blank, BOS, EOS 포함)에 매핑되며, CTC 손실로 학습된다.

4. 실험 설정

LibriSpeech(clean 서브셋), CommonVoice v20.0, VoxPopuli-ASR, Multilingual LibriSpeech(MLS), FLEURS(평가용) 등 4개의 대규모 다국어 음성 코퍼스를 사용하였다. 영어(en), 이탈리아어(it), 프랑스어(fr), 스페인어(es), 독일어(de), 네덜란드어(nl) 6개 언어, 총 11,000시간 이상의 라벨 데이터로 구성되며 낭독체와 반자발적(semi-spontaneous) 발화를 모두 포함한다. 비교 대상은 동일 조건으로 학습한 Conformer 베이스라인이며, 참고용으로 OWSM v3.1, OWSM-CTC, FAMA, Whisper-Large-v3 등 대규모 다국어 모델도 함께 제시된다(모델·데이터 규모 차이로 인해 직접적인 공정 비교는 아님).

5. 실험 결과

5-1. 단일언어 비교: ConMamba vs Conformer

Libri-1000(960시간)에서 처음부터 학습하여 거의 동일한 파라미터 규모로 비교하였다.

모델	파라미터	test-clean WER	test-other WER
Conformer	28.8M	4.27	11.29
ConMamba	31.6M	4.05	10.50

ConMamba는 test-clean, test-other 모두에서 Conformer를 일관되게 앞서, 표준 Conformer 대비 향상된 강인성과 일반화 성능을 보였다.

5-2. 이중언어(영어·이탈리아어) 성능

LS(460h)+CV+VP로 구성된 3,334시간 데이터로 이중언어 학습을 수행한 결과, ConMamba-CTC(31.6M)는 Conformer-CTC(28.8M) 대비 전 지표에서 개선을 보였다(예: 영어 LS 3.6% vs 4.4%, 이탈리아어 CV 11.4% vs 14.3%). 파라미터·학습 데이터 규모가 수십 배 작음에도 FAMA(475M-150K시간), OWSM v3.1(1020M-180K시간), Whisper-Large-v3(1550M-5M시간)와 같은 초대형 다국어 모델들과의 격차가 크지 않았다.

5-3. 다국어 ASR (6개 언어, 11,840시간)

데이터셋	en	it	fr	es	de	nl
CommonVoice	23.2	13.0	15.0	11.2	12.9	16.8
VoxPopuli	11.5	24.5	14.8	12.9	16.1	21.5
MLS	-	13.3	9.1	6.5	9.5	14.8
FLEURS (OOD, 미학습)	19.2	12.5	19.6	10.6	15.4	27.9
평균	15.2	15.8	14.6	10.3	13.5	20.3

MLMA는 도메인 내 데이터셋 전반에서 안정적인 다국어 인식 성능을 보였으며, 학습에 전혀 사용하지 않은 FLEURS(OOD)에서도 경쟁력 있는 성능을 유지하여 견고성을 입증하였다. 또한 MLS 데이터셋에서는 자체 크기가 훨씬 작음에도 파운데이션 모델 OWSM-CTC보다 우수한 성능을 달성하였다.

5-4. 어블레이션: 모델 크기와 데이터 양

파라미터를 31.6M에서 42.0M으로 늘렸을 때, 음소 다양성과 운율이 복잡한 영어에서 특히 큰 폭의 WER 감소(23.00%→21.04%)가 관찰되었다. 학습 데이터를 710시간에서 3,334시간으로 늘렸을 때는 도메인 내 성능(특히 CommonVoice·VoxPopuli)과 영어 FLEURS(OOD) 성능 모두 뚜렷하게 개선되었다. 다만 이탈리아어에서는 동일한 경향이 관찰되지 않았는데, 이는 데이터가 늘어날수록 두 언어 간 데이터 불균형이 오히려 커지기 때문으로 추정된다.

6. 결론

본 연구는 Mamba 상태공간 아키텍처에 언어 인지(language-aware) 조건화와 공유 표현을 결합한 다국어 ASR 프레임워크 MLMA를 제안하였다. 표준 다국어 벤치마크 평가에서 MLMA는 Conformer 기반 모델 대비 경쟁력 있는 인식 성능을 보이면서도 훨씬 빠른 추론을 제공하였다. 이는 상태공간모델이 고자원·저자원 언어를 모두 포괄하는 시나리오에서 다국어 ASR을 위한 효율적이고 확장 가능한 대안이 될 수 있음을 뒷받침한다.

부록: 전문용어 정리

• SSM (State Space Model, 상태공간모델): 은닉 상태의 선형 전이로 시퀀스를 모델링하는 구조. Mamba의 이론적 기반.
• Mamba: 입력에 따라 SSM 파라미터를 동적으로 생성하는 선택 메커니즘과 선형 시불변성 제약 제거를 결합한 구조화 상태공간모델.
• ZOH (Zero-Order Hold): 연속시간 파라미터를 이산시간 파라미터로 근사 변환하는 기법.
• 선택 메커니즘 (Selection Mechanism): SSM의 파라미터를 입력에 따라 동적으로 생성하는 메커니즘. Mamba의 핵심 차별점.
• LTI (Linear Time-Invariance): 시스템 파라미터가 시간에 따라 변하지 않는다는 제약. Mamba는 이를 제거함.
• ConMamba: Conformer의 셀프어텐션을 Mamba로 대체하고 컨볼루션은 유지한 하이브리드 인코더.
• BiMamba: 양방향으로 시퀀스를 처리하는 Mamba 모듈.
• CTC (Connectionist Temporal Classification): 프레임별 예측과 blank 토큰으로 정렬 문제를 학습 가능하게 만드는 손실 함수.
• Code-Switching: 한 발화 내에서 두 개 이상의 언어가 섞여 나타나는 현상.
• FLEURS: 소수샷 다국어 음성 평가 벤치마크. 본 연구에서는 미학습 OOD 평가셋으로 활용.
• Conformer: 컨볼루션과 셀프어텐션을 결합한 대표적 ASR 인코더 아키텍처.

참고문헌

• Ali, M. N., Falavigna, D., & Brutti, A. (2025). MLMA: Towards Multilingual ASR with Mamba-based Architectures. arXiv:2510.18684.
• Gu, A., & Dao, T. (2023). Mamba: Linear-Time Sequence Modeling with Selective State Spaces. arXiv:2312.00752.
• Gu, A., Goel, K., & Ré, C. (2022). Efficiently Modeling Long Sequences with Structured State Spaces. ICLR.
• Jiang, X. et al. (2025). Speech Slytherin: Examining the Performance and Efficiency of Mamba for Speech Separation, Recognition, and Synthesis. ICASSP.
• Gulati, A. et al. (2020). Conformer: Convolution-augmented Transformer for Speech Recognition. arXiv:2005.08100.

※ 본 문서는 MLMA 논문(arXiv:2510.18684v2, 2025-10-23)의 내용을 요약·정리한 것이다.