Jun, 2024

物体级场景去遮挡

PDF
TL;DR利用预训练模型的丰富先验知识，该论文提出了一种新的自监督并行可见完全扩散框架 (PACO)，用于对象级场景可视化处理，通过并行变分自动编码器和隐变量生成器，实现了在输入图像中从不完整对象的部分视图特征和文本提示隐含地预测完整对象的全视图特征，以实现 PACO 的自监督训练和层间遮挡策略的快速有效去遮挡，通过对 COCOA 数据集和多个现实场景的广泛实验，证明了 PACO 在场景去遮挡方面具有优越能力，同时超过了现有方法的性能，同时在单视图 3D 场景重建和物体重组方面具有广泛应用性。
发现论文，激发创造
  • 自监督场景去遮挡

    本文提出了一种基于自监督学习的新型解决方案，通过部分完成网络来恢复被认为不可见的物体的遮挡顺序和内容，从而完成场景的除遮挡，实现高质量、可控的图像操作和场景重组，以及将现有的模态掩模注释转换为全模掩模注释。

    Apr, 2020

  • O^2-Recon：利用预训练的 2D 扩散模型完成场景中被遮挡物体的 3D 重建

    本文提出了一个新颖的框架，利用基于扩散的 2D 修复模型，通过填补物体隐藏部分的 2D 图像来重建完整的表面，以及通过神经隐式表面表示优化每个实例的 3D 重建。实验结果表明，我们的方法在从 RGB-D 视频中进行物体级重建时达到了最先进的准确性和完整性。

    Aug, 2023

  • PWOC-3D: 深度遮挡感知的端到端场景流估计

    使用卷积神经网络中的 PWOC-3D 架构来解决场景流问题，该架构使用专门的设计决策来处理大运动和遮挡等挑战，并提出了一种自监督策略来预测图像中的遮挡，从而在 KITTI 基准测试和具有挑战性的 FlyingThings3D 数据集上实现了具有竞争力的结果。

    Apr, 2019

  • 一种自适应的无监督深度补齐学习框架

    我们提出了一种方法来从彩色图像和相关稀疏深度测量中推断出密集的深度图。我们采用自适应加权方案，结合正则化和共视性关系，利用每个像素点的残差来指导优化过程，以提高训练性能。该方法有效地应用于多种无监督深度完成方法，并在公共基准数据集上改善其性能，不会产生额外的可训练参数或增加推理时间。

    Jun, 2021

  • 从一张图像中深度估计遮挡

    本文提出了一种名为 DOC 的深度网络架构，它能在单个图像上检测物体边界并估计边界所有权，可用于恢复遮挡关系，并通过大规模实例遮挡边界数据集 PIOD 进行了验证。

    Nov, 2015

  • 在全景野外场景下的视频对象分割

    本文提出了半监督视频对象分割的概念，给出了 Panoptic Wild Scenes 的大型基准和基线方法，建立了 VIPOSeg 数据集，提出了基于当下流行的 Transformer 的网格架构的强基线方法 PAOT，在 VIPOSeg 和其他 VOS 基准中取得了 SOTA 的性能，并在 VOT2022 挑战活动中获得第一名。

    May, 2023

  • 从单个视角深度学习的全 3D 物体补全

    通过结合深度卷积神经网络体系结构和自编码器，从深度图中隐含学习 3D 几何特征，大大提高了新方法的重建准确度，并使其适用于实时应用。

    Aug, 2018

  • 通过遮挡完成的无监督点云预训练

    通过遮挡数据重建来对点云进行预训练处理，证明该方法能显著提升不同数据集和编码器的下游任务精度，特别是在对象分类和分割方面比以往预训练方法表现更优。

    Oct, 2020

  • 基于图卷积自编码器的可变形形状补全

    本论文提出一种新的深度学习方法，利用可变自编码器和图形卷积运算来实现对非刚性变形物体进行局部补全，对合成和真实扫描的人体和面部网格进行了实验，显示出有前途的结果。

    Dec, 2017

  • 用于弱监督目标定位的对抗互补学习

    本文提出了一种名为 ACoL 的方法，可以利用弱监督自动定位语义感兴趣的物体，并且能够在端到端的方式下进行训练，并在 ILSVRC 数据集上达到了 45.14％的最佳定位误差率。

    Apr, 2018