Oct, 2023

通过桥接生成与分割来完成视觉对象

PDF
TL;DR本文介绍了一种名为 MaskComp 的新颖的对象完成方法，通过迭代的生成和分割阶段对完成过程进行描绘。每个迭代中，对象掩码作为额外条件用于增强图像生成，生成的图像通过融合图像的分割结果可以得到更精确的掩码，实现了掩码去噪器的功能。通过生成和分割阶段的交替，可以逐步改进部分对象掩码，提供精确的形状引导，并得到优越的对象完成结果。实验结果表明，MaskComp 相对于现有方法，如 ControlNet 和 Stable Diffusion，具有优势，成为对象完成的有效解决方案。
object completionmaskcompgenerationsegmentationmask denoiser
发现论文，激发创造
  • 生成性人脸补全

    本文提出一种基于深度生成模型的有效面部完成算法，通过神经网络直接生成缺失区域的内容，并通过重构损失、两种对抗性损失和语义分割损失进行训练，能够处理任意形状的大面积丢失像素并生成逼真的面部完成结果。

    Apr, 2017

  • 可视化无形：遮挡车辆分割与恢复

    本文提出了一种新颖的迭代多任务框架，用于完成遮挡车辆的分割掩膜并恢复其不可见部分的外观，并在包含合成和真实世界图像的数据集上表明了我们的方法优于现有方法，同时也证明了外观恢复方法在遮挡车辆跟踪中的应用价值。

    Jul, 2019

  • 野外环境下的无偏实态和补全

    我们研究的问题是不完全图像分割：预测包括可见和不可见（被遮挡）部分的完整对象分割掩膜。我们使用 3D 数据构建了一个自动管道来确定真实的部分遮挡对象的不完全真值分割掩膜，并通过两种架构变体探索了在野外处理不完全完成任务的方法。我们的方法在包括 COCOA 和我们的新 MP3D-Amodal 数据集在内的不完全分割数据集上取得了最新的最好性能。

    Dec, 2023

  • Compositor: 底层聚类和合成用于稳健的部件和物体分割

    本文提出一种用于联合部分和对象分割的鲁棒方法，即将对象和部分分割重新表示为优化问题，并构建分层特征表示，其中包括像素、部分和对象级别嵌入，以自下而上的聚类方式解决它。

    Jun, 2023

  • FaceCom: 高保真三维面部形状补全的优化与修复引导

    FaceCom 是一种基于网格生成网络的 3D 人脸形状补全方法，能够高精度地处理任意形式的不完整人脸输入。该方法通过图像修复指导，使用优化方法适应不完整的人脸输入，进一步通过后处理步骤提高补全结果的质量。FaceCom 在医学义肢制造和不完整扫描数据的注册中具有良好的应用潜力，实验证明其在适应性和形状补全任务上具有出色的性能。

    Jun, 2024

  • 生成面部填充是否有助于人脸识别？

    本文探究面部完整性对面部识别的影响，提出了一种基于卷积算子和门控机制的面部完整性编码器 - 解码器，并对真实的遮挡情况进行了分析和实验验证，证明了面部完整性可以部分恢复面部信息从而提高机器视觉系统的面部识别准确率。

    Jun, 2019

  • 通过渐进混合上下文扩散实现非模态完成

    我们的方法通过在物体边界框外使用其上下文来指导预训练的扩散修复模型，逐步扩展遮挡物体并修剪额外背景，从而克服了两个技术挑战，并在众多成功的修复情况中展现了改进的照片级修复结果。

    Dec, 2023

  • 上下文感知图像补全

    本文提出了一种名为 Refill 的基于 Transformer 网络和前景背景语义分割的图像修复模型，通过对原始场景上下文的考虑，生成高质量的缺失部分内容。实验证明该模型优于现有的 state-of-the-art 方法。

    Oct, 2022

  • 对比度掩蔽：对每样东西进行分割的对比学习

    通过在受限的可见类别上学习有标注遮罩，从而消除繁重注释负担，并在新颖的 unseen 类别上分割对象，部分监督实例分割是一个任务。本文提出了 ContrastMask，它在统一的像素级对比学习框架下，同时在可见和未知类别上学习掩模分割模型，提高了前景和背景的特征辨别率，促进了课程无关掩模分割模型的学习，在 COCO 数据集上的详尽实验证明了我们方法的优越性，胜过了之前的最新技术。

    Mar, 2022

  • 面具适应性门控卷积和双向渐进融合网络用于深度补全

    基于编码器 - 解码器结构的新型深度补全模型提出了两个关键组件：MagaConv 架构和 BP-Fusion 模块。其中，MagaConv 架构通过使用迭代更新的遮罩调制卷积运算来获取精确的深度特征，而 BP-Fusion 模块通过在全局视角中利用连续的双向融合结构逐步整合深度和颜色特征。通过在包括 NYU-Depth V2，DIML 和 SUN RGB-D 在内的流行基准数据集上进行广泛实验，我们的模型表现优越，成就了在深度图像补全方面的卓越性能，并在准确性和可靠性方面超越了现有方法。

    Jan, 2024