SDEdit:使用随机微分方程指导图像合成和编辑
我们提出了一种统一的概率形式用于扩散式图像编辑,其中潜变量以任务特定的方式进行编辑,并且通常偏离原始随机微分方程或常微分方程(SDE 或 ODE)引起的相应边际分布。代之以定义了一个相应的 SDE 或 ODE 进行编辑。我们在公式中证明了两个 SDE 之间的边际分布的 Kullback-Leibler 散度逐渐减小,而 ODE 的散度在时间趋近于零时保持不变,这表明了 SDE 在图像编辑中的优势。受此启发,我们针对各种任务(包括修复和图像到图像转换)提供了常用 ODE 基准的 SDE 对应项,其中 SDE 显示出一致而显著的改进。此外,我们还提出了基于 SDE 公式的简单而有效的点内容拖曳方法 SDE-Drag。我们创建了一个具有自然图像、艺术图像和 AI 生成图像的挑战性基准(称为 DragBench)进行评估。对 DragBench 的用户研究表明,SDE-Drag 在很大程度上胜过了我们的 ODE 基准、现有的基于扩散的方法以及著名的 DragGAN。我们的结果证明了 SDE 在图像编辑中的优势和多功能性,并推动了基于扩散的编辑方法的发展边界。
Nov, 2023
通过引入对抗噪声来执行有针对性的属性生成对 SDEdit 的有效攻击,同时利用属性感知型目标函数和优化对输入笔触绘画添加的对抗噪声。
Feb, 2024
我们提出了 DiffEditor 方法,利用图像提示和文本提示来改善细粒度的图像编辑,通过在扩散采样中引入局部组合的随机微分方程 (SDE),梯度引导和时间旅行策略,我们的方法在各种细粒度图像编辑任务中取得了最先进的性能。
Feb, 2024
提出了能量引导的随机微分方程方法,通过预训练的能量函数来指导预训练得到的 SDE 进行非配对图像翻译,实现了先进的结果,同时提高了逼真度。
Jul, 2022
MVEdit 是一个高度灵活和可扩展的框架,结合了多视角扩散和祖先采样技术,在只需 2-5 分钟的推理时间内实现了在质量和速度之间更好的平衡,对于开放领域的 3D 对象合成,多视角扩散以及高质量贴图生成等应用具有具有最先进性能的评估结果。
Mar, 2024
本文提出了一种名为 SeDID 的新型检测方法,它利用了扩散模型的特殊属性,即确定性逆和确定性降噪计算误差,分别采用基于统计的 SeDID_Stat 和基于神经网络的 SeDID_NNs,实验证明 SeDID 在应用于扩散模型时优于现有方法,并对区分扩散模型生成的图像做出重要贡献,成为人工智能安全领域的重要一步。
Jul, 2023
通过对噪音模式和扩散时间步进行优化,本文提出了基于 SD 的 TiNO-Edit 方法,其能够生成与原始图像更加吻合且符合预期结果的编辑结果,同时在 SD 的潜在域中提出了一组新的损失函数来加速优化过程。
Apr, 2024
提出了一种鲁棒的条件扩散模型,用于语义图像合成,通过标签扩散处理噪声标签,同时引入类别权重的噪声时间表来增强鲁棒性。在实验中证明了该方法在生成高质量样本方面的有效性,并模拟了现实应用中的人类错误情况。
Feb, 2024
本文介绍了一种名为选择性扩散蒸馏(SDD)的新框架,其在图像处理任务中克服了扩散模型的权衡问题,通过在扩散模型指导下训练前馈图像操作网络和适当选择语义相关的时间步长,获得了图像的保真度和可编辑性。
Jul, 2023
本文提出了一种新的引导图像合成框架,该框架通过将输出图像建模为受约束优化问题的解决方案来解决领域偏移问题。同时,本文还展示了通过定义基于交叉注意力的输入文本符号和用户笔画之间的对应关系,用户可以在不需要任何条件训练或微调的情况下控制不同绘制区域的语义。
Nov, 2022