Articles
Product
Career
『巨大なのに、動かすのは安い』——DeepSeekやKimiに代表されるMoE(Mixture of Experts)モデルは、数千億〜数兆の総パラメータを持ちながら、各トークンはごく一部のエキスパートだけを通るため、実際に動くパラメータは総容量のほんの一部に抑えられます。本スライドでは、この仕組みの基本から、ルーターの負荷分散が抱える課題、DeepSeekが導入した補助損失なしのロードバランシングとその発展形までを、図解で解説します。
읽음
다음 읽을 글 ↓새로운 칼럼이 공개될 때 이메일로 알려드립니다.
Masahiro Taima
Founder | CEO | Ph.D.
도쿄대학 대학원 공학계 연구과 도시공학 전공 박사과정 수료(Ph.D.) 후, 게이오대학 특임조교, 교토대학 특임조교, 런던대학·베이징대학 객원연구원을 역임했으며 건축·토목 계획 및 분석 업무에 종사하고 있습니다.
Harsh Chandra
AI Research Scientist | Ph.D.
인도공과대학 졸업 후, 도쿄대학교 대학원 기계공학 전공 박사과정 수료(Ph.D.). 캘리포니아공과대학교(Caltech) 연구 및 NEC 리서치 인턴십을 거쳐, Fast Accounting, AIRUCA에서 엣지 AI, 다국어 VLM/OCR, 기반 비전 모델 등 AI/ML 개발에 종사.
Sozoro
Building Review Practice Lead
지정확인검사기관에서 건축허가심사에 종사하며 5,000건 이상의 심사 경험 보유. SNS 총 팔로워 약 4만 명. 건축법규 전문 미디어 '건축기준법 토라노마키.'를 운영. 『주택설계를 위한 건축법규』 등 서적 집필, 건축기준 관련 법령집 편집, 건축법규 교재 감수를 담당. mign에서는 건축법규 전문지식과 심사경험을 활용하여 AI 에이전트 개발에 참여.
Jikai Li
AI Research Scientist | Ph.D.
니이가타대학교 대학원 전기정보공학 전공 박사후기과정 수료(Ph.D.). NTT 연구소 리서치 인턴십 등을 거쳐, Toggle Holdings에서 데이터 사이언티스트로 종사. 심층학습·화상처리·GIS를 전문으로 함.