¿Por qué MoE es "grande pero económico"? — Descifrando la innovación de DeepSeek

『Gigante pero barato de operar』——Los modelos MoE (Mixture of Experts) representados por DeepSeek y Kimi tienen cientos de miles de millones a billones de parámetros totales, pero como cada token pasa solo a través de unos pocos expertos, los parámetros que realmente operan se mantienen en solo una pequeña fracción de la capacidad total. En esta presentación, explicamos desde los fundamentos de este mecanismo, los desafíos del balanceo de carga del enrutador, hasta el balanceo de carga sin pérdida auxiliar implementado por DeepSeek y sus formas evolutivas, todo ilustrado con diagramas.