CVPRSep, 2021

Pano3D：360 度深度估计的综合基准和坚实基础

PDF
TL;DRPano3D 是一个新的基准测试，在全景照片深度估计技术中评估性能，主要目标是精度和准确性，次要目标是边界保留和平滑性。利用不同的测试数据集，Pano3D 不仅可以评估同一数据集内的性能，还可以评估推广到不可见数据的能力。我们在此基础上进行了扩展分析，从而为全景深度估计领域提供了坚实的基础。后续研究可以在此基础上继续推动进步。
发现论文，激发创造
  • 全景室内密集深度估计

    本论文研究了 360 图像的深度估计问题，提出了使用重新渲染的 3D 在线数据集来解决缺乏高质量 360 数据集的挑战，并使用这个数据集实现了端对端的深度估计模型

    Jul, 2018

  • 用于实际定位和建图的全景景深估计校准

    通过利用全景图像的综合视角，我们提出了一种自监督学习的方法，通过构建当前深度预测的 3D 点云并在不同视角投影点云，或者对当前输入图像进行拉伸生成合成全景图，进而最小化合成图像估计的 3D 结构的差异，从而在机器人导航和无地图定位任务中展现了显著的性能提升，这将帮助实现实际基于全景图像的机器视觉系统的广泛应用。

    Aug, 2023

  • 360 度可学习代价卷积的立体深度估计

    提出一种新的神经网络架构，用于解决 360° 图像中的球面视差问题，并通过学习可移位滤波器构建代价体积以缓解失真问题，实验结果表明其对现有算法具有较好的鲁棒性和准确性。

    Nov, 2019

  • 从 360 度图像中估算 3D 场景几何：一项调查

    本文综述了基于单个、两个或多个以全景光学成像系统拍摄的图像的先驱和最先进的三维场景几何估计方法，包括基于全景数据的单目布局和深度推断、球面域上的立体匹配，以及使用多视角相机设置的光场、多视图立体和运动结构等方面的方法，并讨论了各种目的的常用数据集和性能指标。最后，指出了当前和未来的研究趋势。

    Jan, 2024

  • 深度无处不在：通过透视蒸馏和无标签数据增强提升 360 度单目深度估计

    360 度图像的深度估计是虚拟现实、自主导航和沉浸式媒体应用中至关重要的，本研究提出了一种使用未标记 360 度数据的深度估计框架，通过六面立方体投影技术生成伪标签来高效标注 360 度图像的深度，并在深度估计的准确度上展示了显著改进，特别是在零样本情况下。

    Jun, 2024

  • 360MonoDepth：高分辨率 360° 单目深度估计

    提出一种基于切线图像的高分辨率 360 度图像单目深度估计方法，通过将输入的 360 度图像投影到切线平面上得到透视视图，以此来支持最新的和最准确的单目深度估计器，采用可变形多尺度对齐和梯度域混合来重新组合单个深度估计，产生具有高分辨率和高细节的稠密 360 度景深图。

    Nov, 2021

  • 360 度全景立体图像中的光照、反射和几何估计

    本文提出了一种从 360 度立体图像中估计场景高清空间变化光照、反射和几何的方法，该方法利用全景图像获得场景的详细几何信息，结合物理约束共同估计场景属性。通过重建场景的近场光环境、运用深度学习模型推断反射率和表面法线，加入光照与几何之间的物理约束以改进场景的反射率，实验结果表明该方法在增强现实应用中具有 State of the art 的性能有优势。

    Apr, 2021

  • LED2-Net：基于可微深度渲染的单目 360 布局估计

    本文提出一种 360 布局估计的方法，采用可微分的深度渲染程序进行 3D 重建，从而达到对布局进行 3D 重建的目的，并取得了最新的性能表现。

    Apr, 2021

  • 360 度广域：深度预测与视角合成数据集

    本文介绍了一个大规模 360 度视频数据集，包含各种环境和上下文，以及相机的姿态和深度图，证明了该数据集在单一图像深度估计和视图合成两个主要任务中的相关性。

    Jun, 2024

  • OmniFusion: 基于几何感知融合的 360 单目深度估计

    本篇论文提出了一种名为 OmniFusion 的 360 单目深度估计流程，通过将 360 图像转换为切线图像并采用 CNN 进行分段预测，最后合并分段结果以处理球形畸变问题，并通过几何感知特征融合机制、自注意力变换架构和迭代深度细化机制处理分段预测不一致问题，成功的在多个 360 单目深度估计基准数据集上取得了最先进的性能。

    Mar, 2022