Aug, 2024

提示-软盒-提示：一种自由文本嵌入控制的图像编辑方法

HTML
PDF
TL;DR本研究解决了文本驱动的扩散模型中，文本嵌入未充分探讨所带来的精确图像编辑问题。通过深入分析Stable Diffusion XL中的文本嵌入，提出了一种新的自由文本嵌入控制方法PSP，能够在不干扰图像其他区域的情况下，实现对象添加与替换以及风格转移。实验结果表明，PSP在相关任务上取得了显著效果。
发现论文，激发创造
  • 跨注意控制的提示到提示图像编辑

    该文提出了一种基于文本的图像编辑框架，利用交叉注意力层控制图像布局和文本之间的关系，实现了在不改变原始内容情况下的全局和局部编辑，从而达到高质量的图像合成。

    Aug, 2022

  • 使用扩散模型进行文本驱动图像编辑的Prompt Tuning Inversion

    本文提出了一种基于Prompt Tuning Inversion的精确快速反演技术，用于文本驱动的图像编辑，能够在保留输入图像高准确度的同时进行灵活的编辑，实验证明该方法在ImageNet数据集上的表现优于现有技术。

    May, 2023

  • 使用定制扩散模型进行文本引导的图像编辑

    该研究提出了一种名为Custom-Edit的文本导向图像编辑方法，使用少量参考图像进行模型自定义，可以显著提高引用相似性同时保持源相似性，适用于各种数据集。

    May, 2023

  • 利用字幕和注入技术实现最小文本输入的用户友好型图像编辑

    本文提出了两种基于提示生成框架的简单而有效的方法，以改善基于文本的图像编辑过程中用户工程的问题，并通过定性和定量实验证明了提示在基于文本的图像编辑中的重要性以及我们的方法可以与基于参考的提示相媲美。

    Jun, 2023

  • 稳定扩散提示的嵌入操纵

    我们提出并分析了一种直接改变提示嵌入而非提示文本的方法，将生成的文本到图像模型视为一个连续函数，并在图像空间和提示嵌入空间之间传递梯度，通过解决不同的用户交互问题，应用于优化图像空间的度量、在创造性任务中帮助用户导航图像空间以及包含用户在特定种子中看到但难以在提示中描述的信息等三种场景。实验证明了所描述方法的可行性。

    Aug, 2023

  • 动态提示学习：解决文本为基础的图像编辑中的交叉注意力泄漏问题

    基于大规模的文本到图像生成模型，本研究针对图像编辑的问题，通过动态提示学习(DPL)方法修复交叉注意力图，实现对特定对象的精细图像编辑，防止对其他图像区域的意外更改。通过广泛的评估，DPL方法在多个指标上取得了卓越的结果，尤其是在复杂的多物体场景中进行的提示编辑，包括单词替换、提示改进和注意力重新加权。

    Sep, 2023

  • 物品有价值：具有分离控制的多用途图像编辑

    基于预训练的扩散模型，我们提出了一种名为D-Edit的框架，通过在特定物品上操作相应提示来实现多样化的图像编辑，涵盖基于图像、文本、掩膜和物品删除的四种编辑操作类型，展示了编辑结果的质量和多样性。

    Mar, 2024

  • 揭示文本-图像扩散模型中的文本嵌入

    本文研究了文本嵌入空间，发现每个词的嵌入和其上下文相关性对学习无关的图像编辑具有重要意义，并揭示文本嵌入本身具有多样的语义潜力，通过奇异值分解来进一步揭示这一特性，这些发现对图像编辑和语义发现具有实际应用价值。

    Apr, 2024

  • 提示-软盒-提示：一种用于图像编辑的自由文本嵌入控制方法

    本研究解决了文本驱动的扩散模型在图像编辑中面临的文本嵌入复杂性和不透明性的问题。通过对Stable Diffusion XL中文本嵌入进行深入分析，提出了新颖的自由文本嵌入控制方法PSP，可以实现精准的图像编辑和风格转移。实验证明，PSP在物体更替、物体添加及风格转移任务中表现显著，推动了图像编辑技术的发展。

    Aug, 2024

  • 面向任务的高保真文本编辑扩散反演

    本研究解决了现有文本引导扩散模型在真实图像编辑中重建保真度与可编辑性之间的挑战。提出的面向任务的扩散反演（TODInv）框架通过优化扩展的\(\mathcal{P}^*\)空间中的提示嵌入，使反演和编辑结合，确保高保真度和精确可编辑性。实验结果表明，TODInv在基准数据集上优于现有方法，实现了定量和定性上的提升，并展示了其在少步扩散模型中的多样性和适应性。

    Aug, 2024