MoE는 왜 '거대하면서도 저렴한가' — DeepSeek의 혁신을 읽다

『거대하지만 운영 비용은 저렴하다』——DeepSeek과 Kimi로 대표되는 MoE(Mixture of Experts) 모델은 수천억~수조의 총 파라미터를 가지면서도, 각 토큰은 ごく一部のエキスパートだけを通るため, 실제로 작동하는 파라미터는 총 용량의 극히 일부에 그칩니다. 본 슬라이드에서는 이 메커니즘의 기초부터 라우터의 부하 분산이 안고 있는 과제, DeepSeek이 도입한 보조 손실 없는 로드 밸런싱과 그 발전형까지를 도식으로 설명합니다.