[시리즈] Diffusion Models

📑

[시리즈] Diffusion Models

Category

딥러닝

Tags

Deep Learning

Diffusion Model

Published

March 10, 2023

Author

Jay

4학년 1학기, AI R&D 인턴십을 진행하게 되었다. Graphics AI 분야에서 연구개발을 수행할 것 같고, 주로 게임 캐릭터를 위한 Texture Generation or Texture Transfer Task을 위해 DIffusion 계열의 모델을 활용하게 될 것 같다. 틈틈히 선행 연구들을 리뷰하고 정리해 두고자 한다.

생성 모형은 기본적으로 어떤 도메인(이미지, 자연어, 음성 등)의 복잡한 확률 분포를 모형화하는 것을 목적으로 하는데, 이 시리즈에서는 이미지에 대한 생성 모형, 그 중에서도 Diffusion Model에 대해 중점적으로 다루어 보고자 한다. 생성 모델 개요에서 GAN, VAE, Flow Model, Diffusion Model 등 다양한 생성 모델의 구조와 장단점을 알아보고, 본격적으로 관련 논문을 리뷰한다.

📖 Content

Generative Model 개요

[2020/06] DDPM: Diffusion Model 기초

[2020/06] DDPM: Denoising Diffusion Probabilistic Model

[2020/10] DDIM: Denoising Diffusion Implicit Models

[2021/12] LDM: High-Resolution Image Synthesis with Latent Diffusion Models

[2022/06] DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps

[2022/08] DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation

[2022/08] Prompt-to-Prompt Image Editing with Cross-Atention Control

[2022/08] An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion

[2022/10] On Distillation of Guided Diffusion Models

[2022/11] InstructPix2Pix: Learning to Follow Image Editing Instructions

[2023/02] ControlNet: Adding Conditional Control to Text-to-Image Diffusion Models

Reference Papers

[2015/03] Deep Unsupervised Learning using Nonequilibrium Thermodynamics

[2020/11] SDE: Score-Based Generative Modeling through Stochastic Differential Equations

[2021/02] I-DDPM: Improved Denoising Diffusion Probabilistic Models

[2021/05] Diffusion Models Beat GANs on Image Synthesis

[2022/07] Classifier-Free Diffusion Guidance

📁 Posts

Generative Model 개요

Generative Model 개요

이미지 생성을 위한 접근 방식들에 대해 간단히 소개하고 그 중 최근 각광받고 있는 diffusion model에 대해 소개한다.

Diffusion Model

[논문리뷰] DDPM: Diffusion Model Background

[논문리뷰] DDPM: Diffusion Model Background

Diffusion Model의 기본적인 개념과 Forward/Reverse Process, Loss Function 등에 대해 알아보자.

Diffusion Model

[논문리뷰] DDPM: Denoising Diffusion Probabilistic Model

[논문리뷰] DDPM: Denoising Diffusion Probabilistic Model

DDPM의 Loss Function과 각 term들의 의미, 그리고 Sampling 및 Traning Algorithm을 살펴보자.

Diffusion Model

[논문리뷰] DDIM: Denoising Diffusion Implicit Model

[논문리뷰] DDIM: Denoising Diffusion Implicit Model

DDPM은 sampling이 오래걸린다. 이를 non-markovian으로 극복하여 image quality는 유지하면서도 10배 ~ 50배의 속도 향상을 이룬 DDIM을 살펴보자.

Diffusion Model

[논문리뷰] LDM: High-Resolution Image Synthesis with Latent Diffusion Models

[논문리뷰] LDM: High-Resolution Image Synthesis with Latent Diffusion Models

Pixel Space에서 동작함에 따라, DM을 최적화하기 위해서는 대량의 GPU와 시간이 필요했다. DM이 퀄리티와 유연성을 유지하면서도 제한된 컴퓨팅 리소스만을 사용해 학습이 가능하도록 LDM은 Latent Space를 적용을 제안한다.

Diffusion Model

[논문리뷰] DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation

[논문리뷰] DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation

표현하고 싶은 subject(피사체, 주제)에 대한 3~5장의 이미지만으로 Diffusion Model을 학습시켜 높은 수준으로 subject를 유지시킬 수 있는 fine-tuning기법인 DreamBooth에 대해 알아보자.

Diffusion Model

[논문리뷰] Prompt-to-Prompt Image Editing with Cross-Attention Control

[논문리뷰] Prompt-to-Prompt Image Editing with Cross-Attention Control

Dreambooth가 fine-tuning을 통한 Editing 방법론을 제시했다면, 본 논문에서는 Cross-Attention map을 활용한 Editing 방법론을 제시한다.

Diffusion Model

[논문리뷰] An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion

[논문리뷰] An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion

본 논문에서는 object나 style과 같은 concept에 대해 제공한 3~5장의 이미지만으로 그것을 표현하는 새로운 “word”를 학습하는 방법론을 제시한다.

Diffusion Model

[논문리뷰] On Distillation of Guided Diffusion Models

[논문리뷰] On Distillation of Guided Diffusion Models

CFG Diffusion Model은 sample quality와 diversity간의 trade-off를 제어할 수 있는 novel한 방법을 제공했으나, sampling시에 두번 inference해야하는 단점이 있었다. 이를 극복하는 본 논문의 접근방식을 살펴보자.

Diffusion Model

[논문리뷰] ControlNet: Adding Conditional Control to Text-to-Image Diffusion Models

[논문리뷰] ControlNet: Adding Conditional Control to Text-to-Image Diffusion Models

depth, canny, segmentation 등으로 pretrained diffusion model을 컨트롤 하는 ControlNet을 알아보자

Diffusion Model