CVPRMar, 2024

总体分解：最小交互下的三维场景重建

PDF
TL;DR该研究论文提出了一种名为 Total-Decom 的方法，使用少量人工干预实现了 3D 场景的精确重建和实时控制，通过结合 Segment Anything Model (SAM)、混合隐式 - 显式神经表面表示和基于网格的区域生长技术实现了准确的 3D 对象分解。
scene reconstructionmulti-view imagesneural implicit surface reconstruction3d object decompositionreal-time control
发现论文，激发创造
  • Total-Recon： 嵌入式视角合成的可变形场景重建

    本文提出了 Total-Recon 方法，用于从长时间单目 RGBD 视频中重建变形场景并进行自由视点合成，通过场景运动层次分解，实现了快速高效的实现，并最终超越以往的方法。

    Apr, 2023

  • 从单个 RGB 图像学习无监督 3D 物体的分层部件分解

    该研究提出了一种新的方法，可以同时恢复 3D 对象的几何形状和基于部分的分解，以及它们之间的潜在层次结构，实验证明考虑部分的组织确实有助于推理三维几何。

    Apr, 2020

  • 多人动作捕捉的神经场景分解

    本文提出一种基于自监督学习的神经场景分解（NSD）方法，通过对多视角数据的学习，用三层信息表示人体姿态，其中包括边界框和相对深度，实例分割掩码和个体化外观信息以及 3D 姿态信息，该方法能够为小规模数据集训练 3D 姿态估计网络提供帮助。

    Mar, 2019

  • MONet: 无监督场景分解与表示

    该论文介绍了 Multi-Object Network 模型，它可以将复杂的 3D 场景拆分为对象和背景等语义组件，从而更好地表示场景中的抽象要素和关系，提高数据效率和转移性能。

    Jan, 2019

  • 无监督视频分解基于时空迭代推理

    该研究提出了一种新的时空迭代推理框架，用于联合建模复杂的多物体表示和帧间的显式时间依赖关系，在后验精化中利用 2D-LSTM 和时间条件推理和生成，以提高场景分解、分割和预测的能力，即使没有颜色信息也有高准确度。

    Jun, 2020

  • DM-NeRF：从 2D 图像中分解和操作 3D 场景几何形状

    本研究利用迄今为止最新的神经辐射场技术，通过引入物体场组件从 2D 视野中学习 3D 空间中所有个体物体的独特代码，并引入反向查询算法以自由地操作学习场景表示中特定的 3D 物体形状，进而解决物体碰撞和视觉遮挡等关键问题，能够准确地从 2D 视野中分解和操作 3D 场景的研究方法被称为 DM-NeRF。

    Aug, 2022

  • DORec: 利用 2D 无监督特征的分解对象重建

    本研究提出了基于神经隐式表示的 Decomposed Object Reconstruction (DORec) 网络，通过转换 2D 自监督特征为两个粒度级别的蒙版来监督分解，包括指示前景区域的二进制蒙版和指示语义相似区域的 K 聚类蒙版，这两个蒙版互补并能在各种数据集上优秀地分割和重构前景目标。

    Oct, 2023

  • 从单个视角深度学习的全 3D 物体补全

    通过结合深度卷积神经网络体系结构和自编码器，从深度图中隐含学习 3D 几何特征，大大提高了新方法的重建准确度，并使其适用于实时应用。

    Aug, 2018

  • DO3D: 自监督学习单目视频的分解目标感知 3D 运动和深度

    提出了一种自监督方法，可以从单目视频中联合学习 3D 运动和深度。通过利用深度和运动网络相互协作来准确建模现实场景的几何和动态，进而改进了深度估计和 3D 动作估计的性能。

    Mar, 2024

  • AutoRecon：三维物体自动发现与重建

    本文介绍了一种名为 AutoRecon 的新型框架，该框架利用自我监督的 2D 视觉转换器功能，通过多视图图像自动发现和重建对象，并使用分解的神经场景表示进行密集监督，从而实现了准确的对象重建和分割。

    May, 2023