MoE क्यों 'विशाल होने के बावजूद सस्ता' है — DeepSeek के नवाचार को समझें

『विशाल होते हुए भी, चलाना सस्ता है』——DeepSeek और Kimi द्वारा प्रतिनिधित्व की गई MoE (Mixture of Experts) मॉडलें सैकड़ों अरब से लेकर खरबों कुल पैरामीटर रखती हैं, लेकिन प्रत्येक टोकन केवल कुछ विशेषज्ञों से गुजरता है, इसलिए वास्तविक रूप से काम करने वाले पैरामीटर कुल क्षमता का केवल एक छोटा अंश रहते हैं। इस स्लाइड में, इस तंत्र की मूल बातों से लेकर, राउटर के लोड बैलेंसिंग की चुनौतियों, DeepSeek द्वारा अपनाई गई सहायक हानि के बिना लोड बैलेंसिंग और इसके विकसित रूपों तक को, आरेख द्वारा समझाया गया है।