1. 개요○ MoE는 딥러닝 모델에서 여러 전문가(Expert) 네트워크를 배치하고 게이팅 네트워크가 입력에 따라 선택적으로 활성화하여 모델 용량 확장 대비 연산 효율성을 극대화하는 아키텍처○ 대규모 언어모델(LLM)에서 파라미터 수는 증가시키되 추론 시 연산량은 제한하여 성능과 효율성을 동시 달성하는 기법 2. MoE 아키텍처 구조 및 동작원리가。 개념정의: 다수의 전문가 네트워크(FFN)와 게이팅 네트워크(Router)로 구성되어 입력 토큰별로 Top-K 전문가만 선택 활성화하는 조건부 연산 구조핵심원리: 희소 활성화(Sparse Activation) 방식으로 전체 파라미터 중 일부만 사용하여 Dense 모델 대비 연산량 1/8 수준으로 유사 성능 달성나。MoE 아키텍처 구성도게이팅 네트워크: Sof..