Apr, 2024

Anywhere: 一个可靠且多样化的前景条件图像修复的多智能体框架

PDF
TL;DRAnywhere 是一种先进的多智能体框架，通过使用多个代理（如 VLM、LLM 和图像生成模型），解决了前景条件下图像修复的过度想像、前景 - 背景不一致和有限多样性等问题，使得前景条件下的图像修复产生更可靠和多样化的结果。
发现论文，激发创造
  • ActAnywhere：主体感知视频背景生成

    ActAnywhere 是一种生成式模型，可以自动调整与前景主体运动相吻合的视频背景，同时遵循艺术家的创意意图，通过使用大规模视频扩散模型进行训练，它可以根据前景主体分割的序列和描述所需场景的图像作为条件，生成具有真实的前景 - 背景交互并符合条件帧的连贯视频，在广泛的评估中表现出比基准模型显著优越的性能，且具有泛化到各种样本的能力，包括非人类主体。

    Jan, 2024

  • VIP: 基于多模态大型语言模型的多功能图像外描绘

    本文介绍了一种新颖的图像外延框架，利用多模态大语言模型（MLLM）自动提取和组织给定图像的遮罩部分和非遮罩部分的文本描述，并利用特殊的交叉注意力模块（CTS）增强图像的特定空间区域与文本提示部分之间的交互作用，从而实现了图像外延结果的定制化。该方法在三个常用数据集上的实验结果显示，显著超越了现有方法，并展示了其多功能外延结果的定制能力。

    Jun, 2024

  • 图像修复中的物体分割方法

    该论文提出了一种名为 Inpaint Anything 的新范例，支持去除、填充和替换图像内容，并基于 Segment-Anything Model 实现无需遮罩的图像修复。

    Apr, 2023

  • 服装和背景替换的修补注入流程

    通过整合先进的生成人工智能（GenAI）和计算机视觉技术，本研究探索了一种综合方法，重点是图像操作。研究的有效性在实验中得到验证，强调了其在生成引人注目内容方面的潜力，使用户能够根据特定提示对个人照片进行服装和背景的修改，无需手动输入修复遮罩，从而有效地将主题植入创意想象的广阔景观中。

    Feb, 2024

  • 前景感知图像修复

    该研究提出了一种有前景意识的图像修复系统，通过分离结构推断和内容完成，学习预测前景轮廓并利用预测的轮廓进行纹理填充。实验表明，该方法在处理复杂图像的同时，能够显著提高图像修复的性能。

    Jan, 2019

  • 基于统一提示引导的上下文修复框架用于基于参考图像的图像操作

    本文提出了一种基于大规模 T2I 模型的 Prompt-Guided In-Context inpainting (PGIC) 框架，利用该框架可以实现参考引导的图像修复、局部超分辨率和新视角合成等任务，而且不需要对模型进行精细调整。同时，该框架利用了自注意力模块建立空间相关性来有效地解决参考引导的操作。实验表明，该框架相较于其他基于精细调整的方法，具有更好的性能表现和更少的计算成本。

    May, 2023

  • IMProv: 基于修复的多模态计算机视觉任务解题

    本研究提出了 IMProv - 一种生成模型，能够从多模态提示中进行上下文学习，以解决计算机视觉任务，并通过文本条件和数据集缩放来提高任务性能。

    Dec, 2023

  • 基于多模态的无偏导向图像修复

    该论文介绍了一种用于图像修复的新型深度神经网络，该网络包含了一个修复分支和两个辅助分支，能够有效地利用多模式定位和语义信息，实现对各种正 / 不规则图像遮挡的修复，达到了最好的效果。

    Aug, 2022

  • 图像修复视觉提示

    本文通过在测试时间给定新任务的输入输出图像样例及一个新的输入图像，自动产生与这些样例一致的输出图像的方式，探讨了如何在没有特定任务的微调或任何模型修改的情况下，将预训练的视觉模型适应于新的下游任务，并证明了将图像修补算法训练在正确的数据上的效果。

    Sep, 2022

  • 基于区域的生成对抗图像修复技术：针对大面积缺失区域

    我们提出了一个通用的修复损坏图像的网络，能够分开处理连续和不连续区域，使用区域卷积来处理已有区域和缺失区域，并引入互相关损失以提供更多信息。实验结果表明，相对于现有方法，我们的方法在整张图片上能更精确地还原出缺失的区域。

    Sep, 2019