Jun, 2024

DiffUHaul: 图像中无需训练的物体拖动方法

PDF
TL;DR通过局部的文本到图像模型的空间理解，提出了一种不需要训练的方法 DiffUHaul，用于对象拖动任务，并通过注意力掩蔽、自我注意力共享机制和扩散锚定技术来改进编辑性能，并使用 DDPM 自我注意力分桶来适应真实图像编辑。
text-to-image diffusion modelsobject draggingspatial reasoningtraining-free methodautomated evaluation pipeline
发现论文，激发创造
  • DragDiffusion：利用扩散模型进行交互式基于点的图像编辑

    本文介绍了一种基于扩散模型的交互式基于点的图像编辑框架 DragDiffusion，并通过优化扩散模型潜在空间实现精确的空间控制。

    Jun, 2023

  • DragonDiffusion：在扩散模型上实现拖拽式操作

    本文介绍了一种基于 DragonDiffusion 的图像编辑方法，通过构建一个分类器指导策略，将编辑信号转化为梯度并利用特征对应损失修改分布式模型的中间表示，在保持原图像和编辑结果的一致性的同时，实现各种编辑模式，诸如物体移动、物体缩放、物体外观替换和内容拖动。

    Jul, 2023

  • 自然图像文本编辑的混合扩散

    本文介绍了一种基于自然语言描述和兴趣区域掩码进行本地（面向区域的）在通用自然图像中进行编辑的解决方案，利用 CLIP 预训练语言 - 图像模型指导编辑并使用扩散概率模型生成自然外观结果，以及应用扩散过程的增强进行抗击对抗攻击；通过在多个基线和相关方法上的定量和定性比较，表明该方法在整体逼真度、保护背景和匹配文本方面均优于现有解决方案，并展示了多种文本驱动的编辑应用，如添加新对象，删除 / 替换 / 修改现有对象，背景替换和图像推理。

    Nov, 2021

  • 利用去噪实现拼贴，修复和和谐化：使用预训练的扩散模型进行主题驱动的图像编辑

    本研究提出了一种名为 PhD 的框架，它利用样例图像和文本描述来指定用户意图，通过对生成或编辑的图像进行插入、修补和协调来保证其视觉一致性，并通过实验验证其在主题驱动的图像编辑和基于参考主题的文本驱动场景生成方面均达到了最先进的性能。

    Jun, 2023

  • 注意力调制下的密集文本到图像生成

    通过 DenseDiffusion 方法，我们能够在不需额外微调或数据集的情况下，有效改善给定密集描述的图像生成性能，并且达到与专门训练有场景布局条件的模型相似的视觉效果。

    Aug, 2023

  • 从文本到掩码：使用文本 - 图像扩散模型的注意力定位实体

    本研究揭示了扩散模型中隐藏的丰富多模态知识的一种新方法，用于分割任务。

    Sep, 2023

  • 基于关注重心的文本到图像的合成

    本研究提出了两个新的损失函数，用于在采样过程中根据给定的布局重新聚焦注意力图，以解决在多个对象、属性和空间组合都涉及到的情况下现有文本到图像综合方法无法精确遵循文本提示的问题，并通过 Large Language Models 合成的布局在 DrawBench 和 HRS 基准测试中进行了全面实验，证明了我们提出的方法可以轻松有效地集成到现有的文本到图像方法中，并始终提高其生成图像与文本提示之间的对齐度。

    Jun, 2023

  • 基于无条件扩散模型的实时文本驱动图像操作

    该论文研究了基于扩散模型的无条件文本驱动图像编辑方法的效率，并开发了一种新算法，可以快速学习和应用图像操作，从而提高实现应用的潜力。

    Apr, 2023

  • 使用扩展的注意力实现视频中的时态一致的对象编辑

    使用预训练的图像修复扩散模型，通过替换自注意力模块以创建帧级依赖关系，我们提出了一种编辑视频的方法，以确保编辑信息在所有视频帧中保持一致，从而在对象重定向、对象替换和对象移除等多个视频编辑任务中展示了该策略的卓越性能。

    Jun, 2024

  • 使用扩散模型对单张图像进行连续布局编辑

    提出了第一个框架，用于保留单个图像的视觉属性并编辑其布局，并通过文本反演和优化方法实现多对象特征的分离和布局控制，从而优于其他支持此任务的基线。

    Jun, 2023