扩散模型是什么？如何工作以及他如何解决实际的问题

在计算机视觉中，生成模型是一类能够生成合成图像的模型（文本生成图像【DALL2、Stable Diffusion】、图像生成图像【Diffusion-GAN】）。例如，一个被训练来生成人脸的模型，每次都会生成一张从未被该模型或任何人看到过的人脸。生成模型最著名的例子是GAN(生成对抗网络)。它有生成器和鉴别器，它们相互对抗，然后生成图像。由于模型本身具有对抗性，因此很难进行训练。这使得很难达到一个最优的平衡。利用扩散模型可以解决这个问题。（下图为常见的生成模型的基本架构）

1、前向过程：逐渐加噪声，找到X0与Xt-1、Xt-2.....Xt的关系

2、逆向过程：逐渐去噪声，找到Xt与Xt-1、Xt-2.....X0的关系

基本原理

Diffusion Model (扩散模型) 是一类生成模型, 和 VAE (Variational Autoencoder, 变分自动编码器), GAN (Generative Adversarial Network, 生成对抗网络) 等生成网络不同的是, 扩散模型在前向阶段对图像逐步施加噪声, 直至图像被破坏变成完全的高斯噪声, 然后在逆向阶段学习从高斯噪声还原为原始图像的过程，大致分为3步：

1、前向

具体来说, 前向阶段在原始图像   上逐步增加噪声, 每一步得到的图像   只和上一步的结果  相关, 直至第 步的图像   变为纯高斯噪声. 前向阶段图示如下:

2、逆向 

 而逆向阶段则是不断去除噪声的过程, 首先给定高斯噪声  , 通过逐步去噪, 直至最终将原图像   给恢复出来, 逆向阶段图示如下:

3、 从噪声中生成随机图像

模型训练完成后, 只要给定高斯随机噪声, 就可以生成一张从未见过的图像.

Diffusion Model：比“GAN"还要牛逼的图像生成模型！公式推导+论文精读，迪哥打你从零详解扩散模型！_哔哩哔哩_bilibili

扩散模型 (Diffusion Model) 简要介绍与源码分析_珍妮的选择的博客-CSDN博客