MoE: Mixture of Experts (Llama 4 Maverick)
"새 입력" 버튼을 눌러 라우터가 어떤 Expert를 활성화하는지 확인하세요
새 입력 보내기
~400B
전체 파라미터
17B
활성 파라미터
2/8
활성 Expert
4.3%
활성 비율
MoE는 입력마다 라우터가 가장 적합한 Expert만 활성화합니다. 전체 400B 중 17B만 사용하여 연산 효율을 극대화합니다.