23. Imagic: Text-Based Real Image Editing with Diffusion Models

该文提出一种基于文本的真实图像编辑方法，能够根据纯文本提示，实现复杂的图像编辑任务，如改变一个或多个物体的位姿和组成，并且保持其他特征不变。相比于其他文本-图像编辑工作，Imagic具备更丰富的编辑方式，并且能够更好的保留编辑对象原有的特征。下面先展示一波结果，秀一下肌肉。可以看到编辑的效果非常逼真，而且是对图像中目标物体直接进行编辑，而不是重新生成一个新的对象。

基于扩散模型的文本-图像编辑和生成的基础理论我这里就不再赘述了，不清楚的可以参考本博客该专栏下的其他文章。笼统点来讲，我们要把输入的文本描述转化为一个嵌入式向量，并将其作为一种条件信息引入到图像生成过程中，从而实现图像的编辑。本文提出的方法包含三个步骤：文本嵌入特征的优化，扩散模型的微调，以及特征插值与图像生成，如下图所示。

首先，输入的文本描述经过一个文本编码器得到一个目标文本特征 \mathcal{L}(\mathbf{x},\mathbf{e},\theta)=\mathbb{E}_{t,\epsilon}\left[\left\|\boldsymbol{\epsilon}-f_{\theta}(\mathbf{x}_{t},t,\mathbf{e})\right\|_{2}^{2}\right] L ( x , e , θ ) = E t , ϵ ​ [ ∥ ϵ − f θ ​ ( x t ​ , t , e ) ∥ 2 2 ​ ] 其中初始的 为什么我配置环境那一步，用readme里的conda指令，提示Solving environment: failed LibMambaUnsatisfiableError: Encountered problems while solving: - nothing provides requested zstd ==1.5.2 ha4553b6_0 - nothing provides requested zlib ==1.2.13 h5eee18b_0 运行PSMNet网络时遇到的问题及解决方案 风华正茂盛: 博主您好为啥我最后的视差图结果非常的碎片化 运行PSMNet网络时遇到的问题及解决方案 风华正茂盛: 我也是，为什么啊 运行PSMNet网络时遇到的问题及解决方案 风华正茂盛: 以解决，还是看这个文章解决的，3.0以上的好像/出来是默认浮点数，在for循环里有过用了/，要像文章中说的改为//，就好了