<문 > MoE(Mixture of Experts) 전문가 혼합 기법

<답>

1. 개요

○ MoE는 딥러닝 모델에서 여러 전문가(Expert) 네트워크를 배치하고 게이팅 네트워크가 입력에 따라 선택적으로 활성화하여 모델 용량 확장 대비 연산 효율성을 극대화하는 아키텍처

○ 대규모 언어모델(LLM)에서 파라미터 수는 증가시키되 추론 시 연산량은 제한하여 성능과 효율성을 동시 달성하는 기법

 

2. MoE 아키텍처 구조 및 동작원리

가。 개념

• 정의: 다수의 전문가 네트워크(FFN)와 게이팅 네트워크(Router)로 구성되어 입력 토큰별로 Top-K 전문가만 선택 활성화하는 조건부 연산 구조
• 핵심원리: 희소 활성화(Sparse Activation) 방식으로 전체 파라미터 중 일부만 사용하여 Dense 모델 대비 연산량 1/8 수준으로 유사 성능 달성

나。MoE 아키텍처 구성도

• 게이팅 네트워크: Softmax 기반 라우팅으로 각 전문가 선택 확률 계산, Top-K(보통 1~2개) 전문가에만 토큰 할당
• 전문가 네트워크: 개별 FFN(Feed-Forward Network)으로 구성, 각각 특정 패턴/도메인에 특화된 가중치 학습
• 부하분산: Load Balancing Loss 추가로 전문가 간 균등 활용 유도하여 일부 전문가 편중 방지

다。주요 기능 및 특징

구분	주요 내용
조건부 연산	입력별로 활성화되는 파라미터 다름, 추론 시 전체의 12.5~25%만 사용
전문가 특화	각 Expert가 특정 언어/도메인/작업에 암묵적 전문화 달성
확장성	전문가 수 증가로 모델 용량 선형 확장, 연산량은 Top-K에 비례
병렬처리	선택된 전문가들 동시 처리 가능, GPU/TPU 병렬화 효율 극대화
학습 안정성	Auxiliary Loss(부하균형, 라우터 엔트로피) 적용으로 학습 수렴 개선

• GPT-4, Gemini 1.5, Mixtral 등 최신 LLM에서 1조 파라미터 이상 모델 구현에 핵심 기술로 활용

3. Dense Model과 MoE 비교

구분	Dense Model	MoE Model
파라미터 활용	모든 파라미터 항상 활성화	Top-K 전문가만 조건부 활성화
연산 효율성	파라미터 증가 시 연산량 선형 증가	파라미터 증가 대비 연산량 부분적 증가
학습 복잡도	단순, 안정적 학습	라우팅 불균형, Router 붕괴 문제 존재
메모리 요구	추론 시 전체 모델 로드 필요	전문가별 분산 배치 가능, 메모리 효율적
전문화 능력	통합적 학습, 일반화 우수	도메인별 전문가 특화, 다양성 확보

 4. MoE 활용분야 및 발전방향

• GPT-4, Gemini 1.5(1조 파라미터), Mixtral 8x7B(오픈소스), Grok-1(314B) 등 초거대 LLM 핵심 아키텍처로 채택, 멀티모달(비전+언어) 모델 확장
• Fine-grained MoE(토큰 레벨→ 레이어 내 세분화), Soft MoE(Hard Selection→확률적 병합), Expert Pruning(비활성 전문가 제거)으로 효율성 극대화, Edge Device 경량화 연구 진행 중

<끝>