通过对预训练扩散模型进行不对称反演处理（Asyrp），我们提出了一种名为 h-space 的语义潜空间，它具有良好的属性，可用于语义图像操作。此方法适用于各种架构（DDPM ++，iD-DPM 和ADM）和数据集（CelebA-HQ，AFHQ-dog，LSUN-church，LSUN-bedroom 和 METFACES），并可通过定量措施（间隔的编辑强度和时间步骤上的质量缺陷）进行编辑和质量提升。

Oct, 2022

本文提出了一种基于条件扩散模型的语义图像编辑方法DiffEdit，能够自动生成需要编辑的图像区域的遮罩，并利用潜在推理保留感兴趣区域的内容，该方法在ImageNet数据集上实现了最先进的编辑表现。

Oct, 2022

零样本反演过程 (ZIP) 是一个框架，将生成的视觉参考和文本引导注入预训练的去噪扩散模型的语义潜空间中，仅使用一个小型神经网络，ZIP在文本提示的直观控制下产生多样的内容和属性，并对真实图像上的域内和域外属性操作展现了显著的鲁棒性。与最先进的方法相比，ZIP在提供逼真的编辑效果的同时，生成了同等质量的图像。

Aug, 2023

文本到图像扩散模型研究了知识表示和视觉特征，采用因果中介分析方法来理解大规模文本到图像扩散模型中不同视觉属性相关的知识是如何存储的，并发现在条件UNet的一组组件中分布着不同属性的知识。同时，发现在公共文本到图像模型中，只存在一个因果状态，这在其他语言模型中是不同的。基于这种观察，引入了一种快速、无需数据的模型编辑方法Diff-QuickFix，可以在短时间内编辑（删除）模型中的概念，提供了1000倍的加速和与现有微调方法相当的编辑性能。

Oct, 2023

本论文提出了一种无监督的方法来发现基于文本到图像扩散模型的潜在语义，无需依赖文本提示，通过对比学习目标，在不同领域的图像中发现多样的语义，实现高度解耦的编辑。

Dec, 2023

本文研究了文本嵌入空间，发现每个词的嵌入和其上下文相关性对学习无关的图像编辑具有重要意义，并揭示文本嵌入本身具有多样的语义潜力，通过奇异值分解来进一步揭示这一特性，这些发现对图像编辑和语义发现具有实际应用价值。

Apr, 2024

本研究解决了传统文本引导单图编辑方法所需的漫长迭代过程问题，提出了FastEdit，一种将编辑时间从7分钟缩短至17秒的高效编辑方法。该方法利用语义感知的扩散微调和参数高效的LoRA技术，显著减少了训练参数与迭代次数，同时保持了可比的编辑效果，具有广泛的实用潜力。

Aug, 2024

本研究解决了扩散模型（DMs）中局部图像操作的挑战，填补了现有方法只能发现全局属性的空白。我们提出了一种无监督的方法，通过降噪网络的Jacobian将感兴趣区域与潜在空间中的子空间建立联系，从而识别可以实现局部图像编辑的潜在方向。实验结果表明，该方法在多种数据集上的表现优于现有技术，能够生成更具语义一致性的局部编辑。

Aug, 2024

本研究解决了扩散模型（DMs）在局部图像操作中的不足，通过无监督的方法对去噪网络的潜在语义进行因子分解。新方法利用去噪网络的雅可比矩阵建立感兴趣区域与潜在空间子空间的关系，实现了语义一致性的局部编辑，实验结果表明该方法在编辑质量和真实性上优于现有技术。

Aug, 2024

本研究针对扩散模型语义空间理解不足的问题，提出了一种新的无监督、单步的低秩可控图像编辑方法（LOCO Edit）。通过发现学习的后验均值预测器在特定噪声水平范围内的局部线性特性和雅可比矩阵的奇异向量位于低维语义子空间，LOCO Edit实现在扩散模型中的精确本地编辑，展现了良好的可组合性和转移性。实验结果表明该方法在多个文本到图像扩散模型中的有效性和效率。

Sep, 2024