정보 이론 자료는 많습니다. 하지만 대부분은 "공식을 소개하는 수준" 에서 멈춥니다.

[Probability Theory Deep Dive]  ──►  이 레포  ──►  [Information Geometry Deep Dive]
  확률변수, 기댓값, Jensen 부등식       정보이론              Fisher 정보계량, 통계다양체
  대수의 법칙 — 필수                    의 수학적 기반          Natural Gradient, α-divergence
                                               │
                                               ▼
                                     [Generative Model / LLM Alignment]
                                       VAE·GAN·Diffusion·RLHF의 손실 해석

⚠️ 필수 선행: 이 레포는 확률론을 강하게 사용합니다. 기댓값과 Jensen 부등식을 모른다면 Probability Theory Deep Dive를 먼저 학습하세요.
⚠️ 권장 선행: 다변수 정규분포의 KL을 계산하려면 Linear Algebra Deep Dive(행렬식, 역행렬, 트레이스)가 도움이 됩니다.

각 챕터의 첫 문서부터 바로 학습을 시작하세요!

💡 각 챕터를 클릭하면 상세 문서 목록이 펼쳐집니다

핵심 질문: 왜 하필 $-\log p$인가? 정보 측도가 만족해야 할 공리에서 이 형태가 유일하게 유도되는 이유는? "엔트로피는 평균 최적 부호 길이"라는 해석은 어디서 오는가? 최대 엔트로피 분포는 왜 균등/정규/지수 분포인가?

핵심 질문: KL이 왜 비대칭인가? Forward KL과 Reverse KL은 어떤 상황에서 다른 결과를 주는가? GAN이 JS-divergence를 쓰면서 겪은 문제를 Wasserstein이 어떻게 해결하는가? 어떤 상황에서 어떤 divergence를 써야 하는가?

핵심 질문: MI의 세 가지 정의가 왜 모두 동치인가? DPI는 왜 "정보는 처리로 증가하지 않는다"는 경계를 주는가? InfoNCE가 MI의 하한임을 어떻게 유도하는가? 연속 변수의 MI를 어떻게 추정하는가?

핵심 질문: 엔트로피가 압축의 절대적 하한 임은 어떻게 증명되는가? Kraft 부등식은 왜 성립하는가? Huffman 부호는 왜 최적인가? AEP는 왜 "거의 모든 확률이 지수적으로 작은 집합에 집중"되게 만드는가?

핵심 질문: 잡음 있는 채널에서 오류 확률을 임의로 작게 만드는 것이 가능한가? 가능하다면 어떤 속도(rate)까지 가능한가? Shannon의 $C = \max I(X;Y)$ 공식은 어떻게 유도되는가? 반대로 $R > C$면 왜 오류가 불가피한가?

핵심 질문: 왜 Cross-Entropy 손실이 MLE와 동등한가? VAE의 ELBO가 정확히 어떻게 Evidence − KL로 분해되는가? Diffusion Model의 변분 한계가 왜 KL 합의 형태로 나오는가? Fisher 정보계량과 KL은 어떤 관계인가?

모든 챕터의 실험은 아래 환경에서 재현 가능합니다.

# requirements.txt
numpy==1.26.0
scipy==1.11.0
matplotlib==3.8.0
torch==2.1.0          # MINE, InfoNCE, Neural MI 추정
scikit-learn==1.3.0   # KDE 기반 MI 추정 비교
jupyter==1.0.0

# 환경 설치
pip install numpy==1.26.0 scipy==1.11.0 matplotlib==3.8.0 \
            torch==2.1.0 scikit-learn==1.3.0 jupyter==1.0.0

# 실험 노트북 실행
jupyter notebook

# 대표 실험 예시 — AEP: 전형적 집합으로의 확률 집중
import numpy as np
import matplotlib.pyplot as plt

p = 0.3
H = -p * np.log(p) - (1 - p) * np.log(1 - p)   # 엔트로피 (nats)

plt.figure(figsize=(10, 5))
for n in [10, 100, 1000]:
    n_trials = 10000
    neg_log_probs = []
    for _ in range(n_trials):
        seq = np.random.binomial(1, p, size=n)
        k = seq.sum()
        logp = k * np.log(p) + (n - k) * np.log(1 - p)
        neg_log_probs.append(-logp / n)        # -1/n · log p(X₁,...,Xₙ)

    plt.hist(neg_log_probs, bins=50, alpha=0.5, label=f'n={n}', density=True)

plt.axvline(H, color='r', linestyle='--', linewidth=2, label=f'H(X) = {H:.3f}')
plt.xlabel(r'$-\frac{1}{n}\log p(X_1,\ldots,X_n)$')
plt.ylabel('밀도')
plt.title('AEP: 표본 길이가 커질수록 $-\\frac{1}{n}\\log p$가 $H(X)$로 집중')
plt.legend()
plt.grid(True, alpha=0.3)
plt.tight_layout()
plt.show()

# n이 클수록 분포가 H(X)에 집중 → 거의 모든 확률이 2^(nH)개 시퀀스에 몰림

모든 문서는 동일한 구조로 작성됩니다.

1. "코드 길이"로 반복 체화 — 엔트로피 계산할 때마다 "평균 최적 부호 길이" 해석 병행
2. 비대칭성 명시 — KL 등장할 때마다 "어느 쪽이 데이터($p$), 어느 쪽이 모델($q$)인지" 명시
3. 시뮬레이션 필수 — AEP, 전형적 집합은 실제로 샘플링하여 관찰
4. 변분 표현 강조 — Donsker-Varadhan, $f$-divergence 변분 표현은 현대 ML(MINE, f-GAN)의 핵심
5. 기호 통일 — $H$ 엔트로피, $D$ KL divergence, $I$ MI, 로그 밑은 기본 자연로그 (nats 단위)

Day 1  Ch1-02  엔트로피 $H(X)$의 정의와 성질
       Ch2-01  KL-divergence의 정의와 비음수성 (Jensen 증명)
Day 2  Ch2-02  Forward vs Reverse KL
       Ch6-01  Cross-Entropy와 MLE의 동등성 → $H(p, q) = H(p) + D(p\|q)$
Day 3  Ch6-02  ELBO = log p(x) − KL 분해 → VAE의 진짜 의미

Day 1  Ch2-01~02  KL과 비대칭성
Day 2  Ch2-03     JS-divergence와 GAN 원 이론
Day 3  Ch2-05     Wasserstein 거리 (Kantorovich-Rubinstein 쌍대)
Day 4  Ch2-06     KL이 실패하는 상황 재현 → Wasserstein이 smooth gradient 제공
Day 5  Ch2-04     f-divergence 일반론 → f-GAN의 통합 관점
Day 6  Ch6-02     VAE ELBO 분해
Day 7  Ch6-05     Diffusion ELBO → KL 합으로 분해되는 이유

1주차  Chapter 1 전체 — Shannon 엔트로피
        → 공리적 유도 손으로 재증명, 최대 엔트로피 분포 SymPy 계산

2주차  Chapter 2 전체 — KL·JSD·f-divergence·Wasserstein
        → Forward vs Reverse KL 시각화, KL→∞ 사례 실험

3주차  Chapter 3 전체 — 상호정보량
        → DPI 수치 확인, MINE으로 고차원 MI 추정 실험

4주차  Chapter 4 전체 — Source Coding
        → Huffman 부호 NumPy 구현, AEP 전형적 집합 샘플링

5주차  Chapter 5 전체 — Channel Coding
        → BSC 용량 수치 계산, Random Coding 시뮬레이션

6주차  Chapter 6 전체 — AI/ML 응용
        → VAE ELBO 각 항 관찰, Information Bottleneck 학습 동역학
        → Fisher 정보계량 → Information Geometry 레포로 넘어감

💡 이 레포는 정보 이론의 수학적 기반과 ML 손실 함수의 정보이론적 해석에 집중합니다. ML 경험이 없어도 Chapter 1~5는 수학 레포로 학습 가능합니다. Chapter 6은 딥러닝 기초(Cross-Entropy, VAE, GAN 사용 경험)가 있을 때 연결이 더욱 깊어집니다.

• Elements of Information Theory (Cover & Thomas, 2006) — 표준 교과서, 본 레포의 증명 대부분의 출처
• Information Theory, Inference, and Learning Algorithms (MacKay, 2003) — ML 관점의 입문 명저, 무료 PDF 공개
• A Mathematical Theory of Communication (Shannon, 1948) — 정보 이론의 원전, Ch1의 공리적 유도의 출처
• Pattern Recognition and Machine Learning (Bishop, 2006) Chapter 1.6 — ML에서의 정보 이론
• Deep Learning and the Information Bottleneck Principle (Tishby & Zaslavsky, 2015) — Ch6-04의 기반
• Mutual Information Neural Estimation (Belghazi et al., 2018) — MINE, Ch3-04
• Representation Learning with Contrastive Predictive Coding (van den Oord et al., 2018) — InfoNCE의 원전, Ch3-05
• Optimal Transport: Old and New (Villani, 2008) — Wasserstein 이론의 표준, Ch2-05
• Wasserstein GAN (Arjovsky et al., 2017) — WGAN, Ch2-05~06
• Denoising Diffusion Probabilistic Models (Ho et al., 2020) — Ch6-05의 ELBO 분해