🧮 DDPM 수식 렌더링 테스트
현재 시간:
1. 마르코프 체인
$$p(x_t | x_{t-1}, x_{t-2}, \ldots, x_0) = p(x_t | x_{t-1})$$
현재 상태 $x_t$가 오직 바로 이전 상태 $x_{t-1}$에만 의존합니다.
2. 순방향 과정
$$q(x_{1:T}|x_0) := \prod_{t=1}^T q(x_t|x_{t-1}), \quad q(x_t|x_{t-1}) := \mathcal{N}(x_t; \sqrt{1-\beta_t}x_{t-1}, \beta_t I) \tag{1}$$
원본 데이터에서 시작하여 점진적으로 가우시안 노이즈를 추가합니다.
3. 역방향 과정
$$p_\theta(x_{0:T}) := p(x_T) \prod_{t=1}^T p_\theta(x_{t-1}|x_t), \quad p_\theta(x_{t-1}|x_t) := \mathcal{N}(x_{t-1}; \mu_\theta(x_t, t), \Sigma_\theta(x_t, t)) \tag{2}$$
완전한 가우시안 노이즈에서 시작하여 점진적으로 노이즈를 제거합니다.
4. 변분 경계
$$\mathbb{E}[-\log p_\theta(x_0)] \leq \mathbb{E}_q\left[-\log \frac{p_\theta(x_{0:T})}{q(x_{1:T}|x_0)}\right] = \mathbb{E}_q\left[-\log p(x_T) - \sum_{t \geq 1} \log \frac{p_\theta(x_{t-1}|x_t)}{q(x_t|x_{t-1})}\right] =: L \tag{3}$$
변분 추론을 통해 상한으로 근사하여 최적화합니다.
5. 임의 시점 샘플링
$$q(x_t|x_0) = \mathcal{N}(x_t; \sqrt{\bar{\alpha}_t}x_0, (1-\bar{\alpha}_t)I) \tag{4}$$
여기서 $\bar{\alpha}_t := \prod_{s=1}^t \alpha_s$이고, $\alpha_t := 1 - \beta_t$입니다.
6. 변분 경계 분해
$$L = \underbrace{D_{KL}(q(x_T|x_0) \parallel p(x_T))}_{L_T} + \sum_{t>1} \underbrace{D_{KL}(q(x_{t-1}|x_t, x_0) \parallel p_\theta(x_{t-1}|x_t))}_{L_{t-1}} - \underbrace{\log p_\theta(x_0|x_1)}_{L_0} \tag{5}$$
복잡한 최적화 문제를 해석 가능한 여러 개의 작은 문제들로 분해합니다.