MoE tại sao lại 'khổng lồ nhưng giá rẻ' — Giải mã đổi mới của DeepSeek

"Khổng lồ nhưng rẻ để chạy" — Các mô hình MoE (Mixture of Experts) đại diện bởi DeepSeek và Kimi, mặc dù có tổng cộng từ hàng trăm tỷ đến hàng tỷ tham số, nhưng vì mỗi token chỉ đi qua một phần nhỏ các chuyên gia, nên các tham số thực tế được sử dụng chỉ chiếm một phần nhỏ của tổng dung lượng. Slide này giải thích từ những kiến thức cơ bản về cơ chế này, cho đến những thách thức mà cân bằng tải của router phải đối mặt, cũng như cân bằng tải không có hàm mất trợ cấp mà DeepSeek đã áp dụng và các hình thức phát triển của nó, tất cả được minh họa bằng biểu đồ.