为什么MoE"既庞大又便宜"——解读DeepSeek的创新

"巨大却便宜" ——以DeepSeek和Kimi为代表的MoE（混合专家）模型拥有数千亿至数万亿的总参数，但每个token仅通过一小部分专家，因此实际运行的参数只占总容量的极小部分。本幻灯片从这一机制的基础出发，详细讲解了路由器负载均衡所面临的挑战、DeepSeek采用的无辅助损失负载均衡及其进阶形式，并配以图解说明。