CVPRMar, 2024

几何感知深度完整性的三视角视图分解

PDF
TL;DR通过 Tri-Perspective view Decomposition (TPVD) 框架，该研究旨在解决自动驾驶中的深度完成任务，并且能够更准确地重建稀疏和嘈杂深度测量所对应的场景的精确 3D 几何形状。通过 TPVD 的分解和合并方法，与现有方法相比，在 KITTI、NYUv2 和 SUN RGBD 数据集上展现了更好的性能。
depth completiontri-perspective view decomposition3d geometrypoint cloudgeometric consistency
发现论文，激发创造
  • 基于三维感知和几何一致性引导的自监督深度补全

    本研究提出了一种基于 3D 感知特征和多视角几何一致性的高精度自监督深度完成方法，通过构建 3D 感知空间传播算法和引入多视角几何约束，实现了无监督下的高精度深度完成，并在 NYU-Depthv2 和 VOID 等评测数据集上取得与有监督方法相媲美的性能。

    Dec, 2023

  • 基于视觉的三视角视图的 3D 语义占用预测

    采用鸟瞰图（BEV）描述自动驾驶中的三维场景难以描绘细粒度的三维结构，因此我们提出了三面图（TPV）表示法，并使用基于注意力机制的 TPV 编码器实现了显著的提升。模型可以通过稀疏监督有效预测语义占用，仅使用相机输入在 LiDAR 分割任务上可实现与基于 LiDAR 的方法相当的性能。

    Feb, 2023

  • VolumeFusion：基于深度学习的三维场景重建深度融合技术

    本文介绍了一种利用深度神经网络复制传统的 local depth maps calculation 和 global depth maps fusion 两步骤框架，以改善对 3D 场景重建精度和可解释性的计算机视觉任务方法。此外，作者还提出了一种称为 PosedConv 的旋转不变的 3D 卷积核，用于提高从非常不同视角获取的图像之间的匹配效率。作者在 ScanNet 数据集上进行了大量实验证明提出的方法在深度神经网络和传统计算机视觉技术中具有竞争力。

    Aug, 2021

  • 基于几何的距离分解的单目三维物体检测

    本文提出了一种新的基于几何学的距离分解方法，将物体的距离分解成最具代表性和稳定性的变量，即物理高度和在图像平面上的投影视高度，通过对距离分解，实现了 3D 边界框的直接预测，并在 KITTI 数据集上表现出最先进的性能。

    Apr, 2021

  • 使用非标定立体数据混合数据集训练保持几何特征的单级三维深度估计模型

    提出 GP$^{2}$ 训练方案，利用立体图像数据训练单视图深度估计模型，实现了在保持几何结构的同时提高了模型的准确度和速度，同时证明该模型在使用完备数据集很少情况下也能够学习到准确的深度预测。

    Jun, 2023

  • 单目相机全局一致深度动态场景新视角合成

    本文提出了一种新的方法，可以从动态场景的一组图像中合成任意视角和时间的图像，通过单视图深度（DSV）和多视图立体深度（DMV）的结合，重新估计视角和时间下的一致性和深度信息，从而精确的合成真实感极强的虚拟视图。

    Apr, 2020

  • 3dDepthNet: 基于点云引导的深度补全网络，用于稀疏深度和单色图像

    本文提出 3dDepthNet，采用新颖的 3D-to-2D 粗 - 细双重加密设计，通过点云补全和编码解码结构完成深度图像的生成，旨在用于机器人和自动驾驶等领域，实验表明其有效性和高效性。

    Mar, 2020

  • 全天候深度补全

    我们提出了一种在不同光照条件下进行深度估计的方法，该方法通过多传感器融合的方式解决了低照度区域光度学信息不足的问题。我们的方法利用丰富的合成数据首先近似了三维场景结构，并通过学习从稀疏到（粗糙的）密集深度图的映射及其预测不确定性来引导深度的精修，从而提高了稀疏深度处理的效果。我们在 nuScenes 数据集上展示了该方法在不同场景中的改进表现。

    May, 2024

  • S2TPVFormer：时空三视角视图用于具有时间一致性的 3D 语义占据预测

    本研究针对自主驾驶系统中对三维场景的整体理解和推理的重要性展开研究，将三维语义占据预测作为自主驾驶和机器人下游任务的预训练任务，与三维检测等方法相比，它更准确地捕捉了三维细节。现有方法主要关注空间线索，而忽视了时间线索。基于查询的方法常常使用计算密集的体素表示对三维场景信息进行编码。本研究介绍了 S2TPVFormer，它是 TPVFormer 的扩展，利用时空变换器结构进行一致的三维语义占据预测。强调了时空线索在三维场景感知中的重要性，特别是在三维语义占据预测中，我们的工作探索了较少研究的时间线索领域。通过利用三视角视图（Tri-Perspective View，简称 TPV）表示，我们的时空编码器生成具有时间上下文的嵌入，提高了预测的一致性，同时保持了计算效率。为了实现这一点，我们提出了一种新颖的时空跨视图混合注意机制（Temporal Cross-View Hybrid Attention，简称 TCVHA），促进了 TPV 视图之间的有效时空信息交流。对 nuScenes 数据集的实验评估表明，与 TPVFormer 相比，提出的 S2TPVFormer 在三维语义占据上取得了 3.1% 的平均交集联合（mIoU）改进，验证了其提高三维场景感知效果的有效性。

    Jan, 2024

  • MVD-Fusion: 单视角 3D 通过深度一致的多视角生成

    通过对多视角一致的 RGB-D 图像进行生成建模，我们提出了 MVD-Fusion：一种用于通过单视角推理 3D 的方法。

    Apr, 2024