1. 개요ㅇ 정보이론은 1948년 클로드 섀넌이 제안한 이론으로 정보의 정량적 측정, 전송, 저장을 다루는 학문임 ㅇ 정보량, 엔트로피, 상호정보량은 불확실성과 정보 전달량을 수학적으로 측정하는 핵심 개념임2. 정보량의 개념 및 특성 가. 정보량 (Self-Information) 개념사건의 발생 확률에 반비례하여 얻어지는 정보의 양을 나타내는 지표임확률 pipi를 가진 사건 xixi의 정보량은 I(xi)=−log2(pi)I(xi)=−log2(pi) 또는 I(xi)=log2(1/pi)I(xi)=log2(1/pi)로 정의됨단위는 bits(이진 로그), nats(자연 로그), hartleys(상용 로그)를 사용함ㅇ 정보량 산출 정보량은 발생 확률이 낮을수록 더 많은 정보를 제공하며, 확실한 사건(p..