May, 2023

基于统一提示引导的上下文修复框架用于基于参考图像的图像操作

PDF
TL;DR本文提出了一种基于大规模 T2I 模型的 Prompt-Guided In-Context inpainting (PGIC) 框架，利用该框架可以实现参考引导的图像修复、局部超分辨率和新视角合成等任务，而且不需要对模型进行精细调整。同时，该框架利用了自注意力模块建立空间相关性来有效地解决参考引导的操作。实验表明，该框架相较于其他基于精细调整的方法，具有更好的性能表现和更少的计算成本。
text-to-imagegenerative modelsimage manipulationprompt-guided in-context inpaintingself-attention modules
发现论文，激发创造
  • IMProv: 基于修复的多模态计算机视觉任务解题

    本研究提出了 IMProv - 一种生成模型，能够从多模态提示中进行上下文学习，以解决计算机视觉任务，并通过文本条件和数据集缩放来提高任务性能。

    Dec, 2023

  • 文本引导神经图像修复

    本文提出一种名为 TDANet 的图像修复模型，其通过文本的描述信息和图像的辅助区域来确定修复区的语义内容，利用双模态注意机制提取出明确的语义信息并应用图像与文本匹配损失，其结果表明，在两个公开数据集上，TDANet 模型在定量和定性评测中均达到了新的最佳水平，并且生成的图像与文本描述一致。

    Apr, 2020

  • 通过自动提示优化提升文本到图像的一致性

    通过利用大型语言模型，在文本到图像的生成模型中改善提示 - 图像的一致性，我们的方法能够提高一致性得分、保持图像质量和提高生成图像与真实数据之间的相似度，为构建可靠且强大的文本到图像模型铺平了道路。

    Mar, 2024

  • 引导式图像修补：通过另一幅图像提取内容替换图像区域

    本文提出了一种基于端到端网络的图像修复方法，使用不同的图像来引导合成新的内容并填充空洞，并在四项研究中展示了优于七种基线方法的更逼真的图像修复结果。

    Mar, 2018

  • 具有上下文关注机制的生成图像修复

    本文提出了一种基于生成模型和卷积神经网络的图像修补方法，通过利用周围图像特征进行网络训练，生成的修补图像具有更高的质量和更逼真的纹理结构。

    Jan, 2018

  • 图像修复视觉提示

    本文通过在测试时间给定新任务的输入输出图像样例及一个新的输入图像，自动产生与这些样例一致的输出图像的方式，探讨了如何在没有特定任务的微调或任何模型修改的情况下，将预训练的视觉模型适应于新的下游任务，并证明了将图像修补算法训练在正确的数据上的效果。

    Sep, 2022

  • 一种统一的框架用于整合 LLMs、知识图谱和可控扩散模型的一致性图像生成（PCIG）

    通过引入一种基于扩散的新框架，本研究解决了现有文本生成图像模型在生成图像时与输入文本不一致的问题，通过对不一致现象进行细致分析和分类，并利用先进的语言模型提取对象、构建知识图谱，结合图像生成模型进行了准确一致的图像生成实验。

    Jun, 2024

  • 基于文本的图像处理方法：语义与恢复指导

    开发了一个基于文本的图像处理框架（TIP），可以通过自然语言作为用户友好界面来控制图像恢复过程，并通过语言的定量规范实现细粒度的指导，以达到更好的恢复性能。

    Dec, 2023

  • 改进基于文本引导的图像修复的跨模态对齐

    本研究提出了一种基于视听语言预训练模型和对跨模态对齐知识的改进的跨模态对齐模型的图像修复方法，通过在两个流行的视听语言数据集上的实验表明，该模型相对于其他强竞争对手的性能达到了最佳水平。

    Jan, 2023

  • 跨注意控制的提示到提示图像编辑

    该文提出了一种基于文本的图像编辑框架，利用交叉注意力层控制图像布局和文本之间的关系，实现了在不改变原始内容情况下的全局和局部编辑，从而达到高质量的图像合成。

    Aug, 2022