ICCVFeb, 2019

基于多层深度和极线变换的三维场景重建

PDF
TL;DR此研究论文研究如何从单个 RGB 图像自动重建场景的完整 3D 模型，它采用一种新的 Epipolar Feature Transformer 技术来联合图像的多层深度表示和卷积神经网络特征以提高场景信息的准确性。
3d reconstructionsingle imageviewer-centered representationepipolar feature transformermulti-layer depth representation
发现论文，激发创造
  • 极线变换器

    本文提出一种不同于传统的两步法的可微分配准方法，利用视差约束和特征匹配改进了 2D 姿态估计以提高 3D human joints 定位的精度。

    May, 2020

  • TransformerFusion：使用 Transformer 的单目 RGB 场景重建

    TransformerFusion 是一种基于 Transformer 的 3D 场景重建方法，通过 Transformer 网络处理输入的单眼 RGB 视频，将观察结果融合为代表场景的体积特征网格，最终解码为隐式的 3D 场景表示，实现精准的场景面貌恢复与重建。

    Jul, 2021

  • 使用极线时空网络的多视角深度估计

    本文提出了一种针对多视角深度估计的新方法，使用 Epipolar 时空变换器和混合专家模型，实现与 SOTA 方法相比更高的估计精度和速度。

    Nov, 2020

  • 透明桌面场景重建：通过单眼深度补全优化的极线引导光流

    使用廉价的 RGB-D 相机对透明物体进行重建是机器人感知中的持久挑战，由于 RGB 领域中视图不一致以及单视图中不准确的深度读数。我们提出了一个专为移动平台量身定制的透明物体重建两阶段流程：在第一阶段，利用现成的单目物体分割和深度补全网络来预测透明物体的深度，提供单视图形状先验信息；随后，我们提出了基于极线引导的光流（Epipolar-guided Optical Flow），将第一阶段的多个单视图形状先验信息融合到一个在摄像机姿态中估计的跨视图一致的 3D 重建中。我们的创新在于 Epipolar-guided Optical Flow，它在光流中引入了边界敏感采样和极线约束，以在透明物体上准确建立 2D 对应关系。定量评估表明，我们的流程在 3D 重建质量上明显优于基准方法，为更熟练地感知和与透明物体交互铺平了道路。

    Oct, 2023

  • 使用视觉 Transformer 进行高效的 3D 物体重建

    使用视觉 transformer 替代卷积在现有的高效，高性能的 3D 目标重建技术中，预测三维结构并取得类似或优于基线方法的准确度，表明视觉 transformer 在三维目标重建任务中有着巨大的潜力。

    Feb, 2023

  • 上下文感知分层深度修复的三维摄影

    提出一种将单个 RGB-D 输入图像转换成 3D 照片的方法，其中包含了多层的新视角综合结构，可以补全原始视角中被遮挡区域的缺失的颜色和深度信息，并经验证在各种现实场景中比现有技术实现更少的图像伪影。

    Apr, 2020

  • MVSTER：高效的多视角立体匹配的基于极线变换机制的转换器

    本文介绍一种名为 MVSTER 的新型多视角立体重建方法，该方法利用提出的极线 Transformer 以高效地学习 2D 和 3D 信息，采用级联结构以构建更精细的深度估计，通过熵正则化的最优传输算法来提高重建性能并显著减少运行时间。

    Apr, 2022

  • SimpleRecon：无需 3D 卷积的 3D 重建

    通过多视角深度估计方法实现了精确简易的三维重建，在 ScanNet 和 7-Scenes 等数据集上的效果已经超过目前最先进的深度估计算法。

    Aug, 2022

  • 教授 Transformer 多视图几何的轻触方法

    本论文提出了使用极线来引导转换器的跨关注映射，以指导 Transformer 学习多视角几何，并在需要时使其突破自由。实验证明，我们的方法在对象检索方面优于现有技术，而无需在测试时提供姿态信息。

    Nov, 2022

  • TransFusion：基于 Transformer 的跨视角三维人体姿态融合估计

    该研究论文提出了一种可应用于多视角 3D 姿态估计中的变换器框架，该框架可以直接整合来自不同视角的信息，以改善 2D 预测器的性能。同时，研究人员还提出了一个名为 Epipolar field 的概念，它可以将 3D 位置信息编码到变换器模型中。实验证明，该方法更加高效，与其他融合方法相比有一致的改进。

    Oct, 2021