1. 개요대규모 교사(Teacher) 모델의 학습 지식을 소형 학생(Student) 모델로 이전하는 딥러닝 경량화 기술추론 성능 유지·연산 비용 절감을 동시에 달성, LLM 시대 AI 모델 압축의 핵심 패러다임으로 부상2. 지식 증류의 구조 및 기능가. 개념사전 학습된 대형 Teacher 모델 → Soft Label(소프트 확률 분포) 생성 → Student 모델 학습에 활용; 단순 정답(Hard Label)이 아닌 모델의 '사고 과정(Dark Knowledge)' 전달Teacher–Student 지식 이전 프레임워크나. 개념도 Temperature(T) 파라미터로 Soft Label 분포를 평탄화, Student 모델이 클래스 간 유사도까지 학습 가능Loss = α·CE(Hard Label) + (..