图像修复中的物体分割方法
介绍了 Segment Anything (SA) 项目 —— 一项新的任务、模型和图像分割数据集,该模型具有任务迁移和零样本学习的能力,并通过大规模数据集的训练,达到或超过以前完全监督结果的性能,旨在为计算机视觉的基础模型研究提供支持。
Apr, 2023
通过利用分割蒙版数据集和在蒙版内修复的修复模型,我们可以实现自动逆向修复过程,将对象添加到图像中,在没有用户提供的输入蒙版的情况下,提供了一种无缝地根据文本指令添加对象的方法。
Apr, 2024
图像修复是将图像中的缺失或故意遮挡部分恢复出来的过程,在现代修复技术中,我们提供了当前主要方法的概述和评估,并着重解决了现有模型在生成过程中缺乏提示和控制能力的问题,并提供了多种实现该功能的方法。最终,通过对生成的高质量图像进行定性检查,我们评估了我们的方法的结果是否能正确地修复指定区域。
Mar, 2024
本论文提出了一种基于自然语言输入的图像修复算法,名为 Inst-Inpaint,可同时估计要移除的对象,并对其进行修复。为了支持该任务,我们首先构建了一个名为 GQA-Inpaint 的数据集。我们在合成和真实图像数据集上运行了各种 GAN 和扩散基线,使用不同的评估指标比较方法,并展示了显著的定量和定性改进。
Apr, 2023
MatAny 是一种新的互动自然图像抠图模型,通过基于轮廓和透明度预测来自动生成伪 trimap,有效降低了对大规模抠图应用的人力需求,是目前性能最好、支持互动方式最多的交互式抠图算法。
Jun, 2023
Anywhere 是一种先进的多智能体框架,通过使用多个代理(如 VLM、LLM 和图像生成模型),解决了前景条件下图像修复的过度想像、前景 - 背景不一致和有限多样性等问题,使得前景条件下的图像修复产生更可靠和多样化的结果。
Apr, 2024
我们介绍了一种新颖的范式及其第一个模型:自动与交互式分割模型(AI-SAM)。在这个范式中,我们对提示品质进行了全面分析,并引入了创新的自动与交互式提示器(AI-Prompter),它在自动生成初始点提示的同时接受额外的用户输入。我们的实验结果证明了 AI-SAM 在自动设置下的有效性,实现了最先进的性能。更重要的是,它提供了灵活性以整合额外的用户提示,从而进一步提升性能。项目页面可在链接提供的 URL 中找到。
Dec, 2023
提出了一种名为 Track Anything Model (TAM) 的模型,它可以在视频中进行高效的交互式跟踪和分割,无需额外的训练,并在视频对象跟踪和分割方面表现出色。
Apr, 2023
本文提出了一种基于深度神经网络和纹理传播的学习方法来完成图像修复,通过分离任务为推理和翻译两个步骤并用简单的启发式算法指导局部纹理从边界到空洞的传播,我们证明了我们的方法在几个公共数据集上能够产生比以前的最先进方法更高质量的视觉结果。
Nov, 2017
通过消除图像中的阴影同时保留图像细节,Segment Anything (SAM) 模型在图像分割和计算机视觉领域树立了新的基准,但在区分阴影和背景时仍面临挑战。为了解决这个问题,我们开发了 Deshadow-Anything,考虑到大规模数据集的泛化,并对大规模数据集进行微调,实现了图像阴影去除。扩散模型可以沿着图像的边缘和纹理进行扩散,帮助去除阴影并保留图像的细节。此外,我们设计了多自注意引导 (MSAG) 和自适应输入扰动 (DDPM-AIP) 来加速扩散的迭代训练速度。阴影去除任务的实验证明这些方法可以有效提高图像修复性能。
Sep, 2023