IQ AI Lab

🔍 IQ AI Lab

수학적 증명으로 AI의 본질을 탐구하는 딥다이브 연구소

"Use → Understand → Prove → Implement → Repeat"

표면적인 사용법이 아닌,
왜 이 수식인가 — 가정부터 증명까지 를 집요하게 파고듭니다.

🗺️ Learning Roadmap

graph TD
    M0["🧮 Layer 0\nMathematics"]
    M1["📐 Layer 1\nML Theory"]
    M2["🧠 Layer 2\nNeural Networks"]
    M3["🏗️ Layer 3\nArchitectures"]
    M4A["🤖 Layer 4\nReinforcement Learning"]
    M4B["🗣️ Layer 4\nLLM"]
    M4C["👁️ Layer 4\nComputer Vision"]
    M4D["📝 Layer 4\nNLP"]
    M5["⚙️ Layer 5\nSystems"]

    M0 --> M1
    M1 --> M2
    M2 --> M3
    M3 --> M4A
    M3 --> M4B
    M3 --> M4C
    M3 --> M4D
    M4A --> M5
    M4B --> M5
    M4C --> M5
    M4D --> M5

    style M0 fill:#e3f2fd,stroke:#1565c0,stroke-width:2px
    style M1 fill:#f3e5f5,stroke:#7b1fa2,stroke-width:2px
    style M2 fill:#fff3e0,stroke:#ef6c00,stroke-width:2px
    style M3 fill:#e8f5e9,stroke:#2e7d32,stroke-width:2px
    style M4A fill:#fce4ec,stroke:#c62828,stroke-width:2px
    style M4B fill:#fce4ec,stroke:#c62828,stroke-width:2px
    style M4C fill:#fce4ec,stroke:#c62828,stroke-width:2px
    style M4D fill:#fce4ec,stroke:#c62828,stroke-width:2px
    style M5 fill:#fff8e1,stroke:#fbc02d,stroke-width:2px

📚 Projects & Studies

🧮 Layer 0 — Mathematics

AI의 모든 수식이 여기서 출발합니다

📌 Title	📝 Core Topics	🔗 Link
Linear Algebra Deep Dive	벡터공간, 고유값 분해, SVD, PCA 증명, 텐서	📂 Repository
Probability Theory Deep Dive	측도 기반 확률론, 조건부 기댓값, 수렴 4종, 마팅게일	📂 Repository
Mathematical Statistics Deep Dive	MLE/MAP 유도, 가설검정, 점근이론, 베이즈 추론	📂 Repository
Calculus & Optimization Deep Dive	편미분, 야코비안, 헤시안, 라그랑주 승수법	📂 Repository
Convex Optimization Deep Dive	볼록 집합/함수, KKT 조건, 쌍대이론, Proximal 방법	📂 Repository
Information Theory Deep Dive	Shannon Entropy, KL-Divergence, 상호정보량, MDL	📂 Repository
Stochastic Processes Deep Dive	마르코프 체인, 브라운 운동, 마팅게일, MCMC	📂 Repository
Stochastic Differential Equations Deep Dive	이토 적분, 이토 공식, SDE, Fokker-Planck 방정식	📂 Repository
Functional Analysis Deep Dive	힐베르트 공간, 스펙트럴 이론, RKHS	📂 Repository
Information Geometry Deep Dive	통계다양체, Fisher 정보 행렬, Natural Gradient	📂 Repository

📐 Layer 1 — ML Theory

고전 ML의 수학적 토대와 일반화 이론

📌 Title	📝 Core Topics	🔗 Link
ML Fundamentals Deep Dive	선형회귀(Normal Equation 유도), 결정트리, 앙상블 수렴 증명	📂 Repository
Statistical Learning Theory Deep Dive	PAC Learning, VC 차원, Rademacher 복잡도, 균등수렴	📂 Repository
Kernel Methods Deep Dive	Mercer 정리, RKHS, SVM 쌍대 유도, 가우시안 프로세스	📂 Repository
Bayesian ML Deep Dive	베이지안 추론, 변분 베이즈, ELBO 유도, MCMC	📂 Repository
Graphical Models Deep Dive	베이지안 네트워크, 마르코프 랜덤 필드, 믿음 전파	📂 Repository

🧠 Layer 2 — Neural Network Theory

신경망의 수학적 본질 — 역전파부터 일반화까지

📌 Title	📝 Core Topics	🔗 Link
Neural Network Theory Deep Dive	범용 근사 정리 증명, 역전파 완전 유도, Xavier/He 초기화 유도	📂 Repository
Optimization Theory Deep Dive	SGD 수렴 분석, Adam 수렴 반례, Loss Landscape, LR Scheduler	📂 Repository
Generalization Theory Deep Dive	Double Descent, Neural Tangent Kernel, Grokking, Lottery Ticket	📂 Repository
Regularization Theory Deep Dive	L1/L2 베이즈 해석, Dropout 앙상블 이론, BatchNorm 증명	📂 Repository

🏗️ Layer 3 — Architectures

핵심 아키텍처 수식 완전 분해

📌 Title	📝 Core Topics	🔗 Link
CNN Deep Dive	Convolution 등변성, Receptive Field, ResNet 항등 근사 이론	📂 Repository
RNN & LSTM Deep Dive	BPTT 완전 유도, Vanishing Gradient 스펙트럴 분석, LSTM 게이트 수식	📂 Repository
Transformer Deep Dive	Attention 수식 완전 분해, √d 근거, Positional Encoding, Linear Attention	📂 Repository
Graph Neural Network Deep Dive	그래프 라플라시안 유도, Message Passing, 표현력 한계(WL 검사)	📂 Repository
Generative Model Deep Dive	GAN minimax 수렴, VAE ELBO 완전 유도, Normalizing Flow	📂 Repository

🤖 Layer 4-A — Reinforcement Learning

벨만 방정식부터 PPO 단조 개선 보장까지

📌 Title	📝 Core Topics	🔗 Link
RL Foundations Deep Dive	MDP 공리적 정의, 벨만 방정식 완전 유도, 동적 프로그래밍 수렴 증명	📂 Repository
Model-Free RL Deep Dive	Monte Carlo 수렴 조건, TD Learning, Q-Learning 수렴 증명(Robbins-Monro)	📂 Repository
Deep RL Deep Dive	DQN 경험 재생 이론, Double DQN 과대추정 편향 증명, Rainbow	📂 Repository
Policy Gradient Deep Dive	REINFORCE 완전 유도(로그 미분 트릭), 정책 기울기 정리 증명, GAE λ-수익 유도	📂 Repository
Advanced RL Deep Dive	TRPO 단조 개선 이론, PPO 클리핑 근거, SAC 엔트로피 최대화, TD3	📂 Repository
RL Theory Deep Dive	UCB 후회 경계 증명, PAC-MDP, 탐험-활용 트레이드오프, 샘플 복잡도	📂 Repository

🗣️ Layer 4-B — Large Language Models

Scaling Law부터 Alignment까지

📌 Title	📝 Core Topics	🔗 Link
LLM Pretraining Deep Dive	Scaling Law(Chinchilla 수식), 학습 안정성, 데이터 혼합 이론	📂 Repository
LLM Alignment Deep Dive	RLHF(보상 모델링), DPO(Bradley-Terry 유도), Constitutional AI	📂 Repository
LLM Efficiency Deep Dive	LoRA(저랭크 분해 수학), QLoRA 양자화 오차, MoE 수식, Speculative Decoding	📂 Repository
LLM Inference Deep Dive	KV Cache, PagedAttention 메모리 분석, Continuous Batching, vLLM	📂 Repository

👁️ Layer 4-C — Computer Vision

이미지의 수학적 구조 탐구

📌 Title	📝 Core Topics	🔗 Link
Vision Transformer Deep Dive	ViT 패치 임베딩 수식, DINO 자기지도, MAE 정보이론적 해석	📂 Repository
Object Detection Deep Dive	YOLO 손실함수 유도, DETR 헝가리안 매칭, Anchor-Free 방법론	📂 Repository
Diffusion Model Deep Dive	DDPM Forward/Reverse 완전 유도, Score Matching, DDIM ODE 해석	📂 Repository

📝 Layer 4-D — NLP

언어의 수학적 표현 탐구

📌 Title	📝 Core Topics	🔗 Link
NLP Foundations Deep Dive	Word2Vec(Skip-gram 목적함수 유도), GloVe(행렬 분해 해석), BPE	📂 Repository
Pretrained LM Deep Dive	BERT MLM 정보이론, GPT 자기회귀 수식, 전이학습 이론	📂 Repository

⚙️ Layer 5 — Systems

수학을 실제 시스템으로

📌 Title	📝 Core Topics	🔗 Link
PyTorch Internals Deep Dive	Autograd(야코비안 벡터곱), CUDA 커널, 혼합 정밀도 수치 분석	📂 Repository
Distributed Training Deep Dive	Data/Model/Pipeline Parallelism, DDP AllReduce, ZeRO 메모리 분석	📂 Repository
Efficient ML Deep Dive	Pruning/Quantization/Distillation 수학, FlashAttention, vLLM	📂 Repository
MLOps Deep Dive	피처 스토어, 모델 모니터링, 데이터 드리프트, A/B 테스트 이론	📂 Repository

_{💡 Layer 0 → Layer 5 순서로 선행 지식이 쌓입니다. 각 레포는 독립적으로도 학습 가능합니다.}

🛠️ Study Method

graph LR
    A{{🔍 Explore}} -->|논문·레퍼런스| B{{📐 Formulate}}
    B -->|수식 유도| C{{✏️ Prove}}
    C -->|가정 검증| D{{💻 Implement}}
    D -->|NumPy 검증| E{{📝 Document}}
    E -.->|다음 질문| A

    style A fill:#e3f2fd,stroke:#1565c0,stroke-width:2px
    style B fill:#f3e5f5,stroke:#7b1fa2,stroke-width:2px
    style C fill:#fff3e0,stroke:#ef6c00,stroke-width:2px
    style D fill:#e8f5e9,stroke:#2e7d32,stroke-width:2px
    style E fill:#fff8e1,stroke:#fbc02d,stroke-width:2px

Step	Description
🔍 Explore	논문·공식 레퍼런스에서 탐구할 개념 선정
📐 Formulate	수학적 선행 조건 정리, 수식 구조 파악
✏️ Prove	가정 → 보조정리 → 정리, 한 줄씩 완전 유도
💻 Implement	프레임워크 없이 NumPy로 직접 구현·검증
📝 Document	증명·직관·한계를 나만의 언어로 체계적 정리

💡 Philosophy

"수식을 쓸 줄 아는 것과, 수식이 왜 그렇게 생겼는지 아는 것은 다르다."

Why Math-First Deep Dive?

✏️ 증명 가능한 이해 - 블랙박스 없이, 가정부터 결론까지 직접 유도합니다
🔍 한계 식별 - 수식의 가정이 무너지는 조건을 정확히 압니다
🔗 개념 연결 - 서로 다른 알고리즘이 같은 수학적 뿌리에서 나옴을 발견합니다
💻 구현 신뢰 - 수식을 코드로 직접 옮기며 이론과 실제를 연결합니다

🔗 Related

AI 시스템 구현의 기반이 되는 개발 기술은 IQ Dev Lab에서 탐구합니다

⭐️ 도움이 되셨다면 Star를 눌러주세요!

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

IQ AI Lab

🔍 IQ AI Lab

🗺️ Learning Roadmap

📚 Projects & Studies

🧮 Layer 0 — Mathematics

📐 Layer 1 — ML Theory

🧠 Layer 2 — Neural Network Theory

🏗️ Layer 3 — Architectures

🤖 Layer 4-A — Reinforcement Learning

🗣️ Layer 4-B — Large Language Models

👁️ Layer 4-C — Computer Vision

📝 Layer 4-D — NLP

⚙️ Layer 5 — Systems

🛠️ Study Method

💡 Philosophy

Why Math-First Deep Dive?

🔗 Related

Popular repositories Loading

Repositories

Uh oh!

Uh oh!

People

Top languages

Uh oh!

Most used topics

Uh oh!