<문> 정보이론의 정보량, 엔트로피, 상호정보량

<답>

1. 개요

ㅇ 정보이론은 1948년 클로드 섀넌이 제안한 이론으로 정보의 정량적 측정, 전송, 저장을 다루는 학문임​

ㅇ 정보량, 엔트로피, 상호정보량은 불확실성과 정보 전달량을 수학적으로 측정하는 핵심 개념임​

2. 정보량의 개념 및 특성

 가. 정보량 (Self-Information) 개념

• 사건의 발생 확률에 반비례하여 얻어지는 정보의 양을 나타내는 지표임
• 확률 pipi를 가진 사건 xixi의 정보량은 I(xi)=−log⁡2(pi)I(xi)=−log2(pi) 또는 I(xi)=log⁡2(1/pi)I(xi)=log2(1/pi)로 정의됨​
• 단위는 bits(이진 로그), nats(자연 로그), hartleys(상용 로그)를 사용함​

ㅇ 정보량 산출 

정보량은 발생 확률이 낮을수록 더 많은 정보를 제공하며, 확실한 사건(p=1)은 0 bits의 정보량을 가짐

나. 정보량의 주요 특성

• 비음성: 모든 사건의 정보량은 0 이상의 값을 가짐
• 가산성: 독립 사건들의 결합 정보량은 개별 정보량의 합과 같음 I(x,y)=I(x)+I(y)I(x,y)=I(x)+I(y)
• 확률 반비례: 발생 확률이 낮을수록 정보량이 증가함
• 단조 감소: 확률이 증가하면 정보량은 감소하는 특성을 보임
• 확실성 조건: 확률이 1인 사건의 정보량은 0임

3. 엔트로피의 개념 및 특성

가. 엔트로피 (Shannon Entropy) 개념

ㅇ 정보원에서 발생하는 평균 정보량으로 불확실성의 척도임​

ㅇ 확률 분포 p(x)p(x)를 가진 확률변수 XX의 엔트로피는 H(X)=−∑ip(xi)log⁡2p(xi)H(X)=−∑ip(xi)log2p(xi)로 정의됨

ㅇ 정보량의 기댓값으로 심벌당 평균 비트 수를 나타냄​

ㅇ 엔트로피 계산

 - 엔트로피는 분포가 균등할 때 최대값을 가지며, 특정 사건에 확률이 집중될수록 감소함​

ㅇ 엔트로피의 주요 특성

• 비음성: H(X)≥0H(X)≥0이며, 결정적 사건일 때 0의 값을 가짐
• 최대값: nn개의 등확률 사건에서 Hmax=log⁡2nHmax=log2n으로 최대임
• 결합 엔트로피: 두 변수의 결합 엔트로피는 H(X,Y)=H(X)+H(Y∣X)H(X,Y)=H(X)+H(Y∣X)로 표현됨​
• 조건부 엔트로피: H(X∣Y)H(X∣Y)는 YY를 알 때 XX에 대한 불확실성을 나타냄​
• 체인 규칙: 엔트로피는 조건부 엔트로피로 분해 가능함

4. 상호정보량의 개념 및 특성

가. 상호정보량 (Mutual Information) 개념

ㅇ  두 확률변수 간 상호 의존성 또는 공유 정보량을 측정하는 척도임

ㅇ  I(X;Y)=H(X)−H(X∣Y)=H(Y)−H(Y∣X)I(X;Y)=H(X)−H(X∣Y)=H(Y)−H(Y∣X)로 정의되며, 한 변수를 알 때 다른 변수의 불확실성 감소량을 나타냄

ㅇ  KL 발산을 이용하여 I(X;Y)=DKL(p(x,y)∥p(x)p(y))I(X;Y)=DKL(p(x,y)∥p(x)p(y))로도 표현됨​

ㅇ 상호정보량 관계도

- 상호정보량은 대칭적이며(I(X;Y)=I(Y;X)I(X;Y)=I(Y;X)), 독립변수일 때 0, 완전 종속일 때 H(X)H(X)와 같음

ㅇ 상호정보량의 주요 특성

• 비음성: I(X;Y)≥0I(X;Y)≥0이며, 독립일 때만 0임
• 대칭성: I(X;Y)=I(Y;X)I(X;Y)=I(Y;X)로 방향성이 없음
• 상한: I(X;Y)≤min⁡(H(X),H(Y))I(X;Y)≤min(H(X),H(Y))로 개별 엔트로피를 초과할 수 없음
• 불확실성 감소: 한 변수 관찰 시 다른 변수에 대한 불확실성 감소량을 의미함
• 채널 용량: 통신 채널의 최대 전송률 결정에 활용됨​

 5. 정보량, 엔트로피, 상호정보량 비교

구분	정보량	엔트로피	상호정보량
측정 대상	단일 사건의 정보	확률변수의 평균 정보	두 변수 간 공유 정보
수식	I(x)=−log⁡2p(x)I(x) = -\log_2 p(x)I(x)=−log2p(x)	H(X)=−∑p(x)log⁡2p(x)H(X) = -\sum p(x)\log_2 p(x)H(X)=−∑p(x)log2p(x)	I(X;Y)=H(X)−H(X∥Y)I(X;Y) = H(X) - H(X\|Y)I(X;Y)=H(X)−H(X∥Y)
단위	bits, nats	bits/symbol	bits
최소값	0 (확실한 사건)	0 (결정적 변수)	0 (독립 변수)
최대값	무한대 (확률→0)	log⁡2n\log_2 nlog2n (등확률)	min⁡(H(X),H(Y))\min(H(X), H(Y))min(H(X),H(Y)) (종속)

6. 정보이론의 활용 및 기술 동향

ㅇ ( 데이터 압축) 엔트로피는 무손실 압축의 이론적 한계를 제시하며, 허프만 코딩 등에 활용됨

ㅇ (통신 시스템) 섀넌 용량 계산을 통해 채널의 최대 전송률을 결정하며, 5G/6G 설계에 적용됨​

ㅇ (머신러닝) 상호정보량은 특징 선택, 클러스터링, 신경망 학습 최적화에 활용되며, KL 발산은 생성 모델 학습의 손실함수로 사용됨

ㅇ (암호학 및 보안) 엔트로피는 암호 강도 평가와 난수 생성기 품질 측정에 필수적이며, 양자 정보이론으로 확장됨

ㅇ (미래 전망) AI 해석 가능성, 인과 추론, 양자 컴퓨팅 분야에서 정보이론의 역할이 확대되고 있음

<끝>