Jan, 2024

从 360 度图像中估算 3D 场景几何：一项调查

PDF
TL;DR本文综述了基于单个、两个或多个以全景光学成像系统拍摄的图像的先驱和最先进的三维场景几何估计方法，包括基于全景数据的单目布局和深度推断、球面域上的立体匹配，以及使用多视角相机设置的光场、多视图立体和运动结构等方面的方法，并讨论了各种目的的常用数据集和性能指标。最后，指出了当前和未来的研究趋势。
发现论文，激发创造
  • 360 度全景立体图像中的光照、反射和几何估计

    本文提出了一种从 360 度立体图像中估计场景高清空间变化光照、反射和几何的方法，该方法利用全景图像获得场景的详细几何信息，结合物理约束共同估计场景属性。通过重建场景的近场光环境、运用深度学习模型推断反射率和表面法线，加入光照与几何之间的物理约束以改进场景的反射率，实验结果表明该方法在增强现实应用中具有 State of the art 的性能有优势。

    Apr, 2021

  • 360 度可学习代价卷积的立体深度估计

    提出一种新的神经网络架构，用于解决 360° 图像中的球面视差问题，并通过学习可移位滤波器构建代价体积以缓解失真问题，实验结果表明其对现有算法具有较好的鲁棒性和准确性。

    Nov, 2019

  • 全景室内密集深度估计

    本论文研究了 360 图像的深度估计问题，提出了使用重新渲染的 3D 在线数据集来解决缺乏高质量 360 数据集的挑战，并使用这个数据集实现了端对端的深度估计模型

    Jul, 2018

  • 360MonoDepth：高分辨率 360° 单目深度估计

    提出一种基于切线图像的高分辨率 360 度图像单目深度估计方法，通过将输入的 360 度图像投影到切线平面上得到透视视图，以此来支持最新的和最准确的单目深度估计器，采用可变形多尺度对齐和梯度域混合来重新组合单个深度估计，产生具有高分辨率和高细节的稠密 360 度景深图。

    Nov, 2021

  • 360Loc: 用于跨设备查询的全景视觉定位数据集和基准

    360Loc 是首个基于可视定位的横跨设备视觉定位数据集和基准。通过结合 360° 图像和激光雷达数据生成全景真实 6DoF 姿态，360Loc 实现了 360° 视图映射，并通过虚拟相机方法为不同查询类型的视觉定位任务提供了公平比较性能的机会。研究结果表明，全景视觉定位在具有对称和重复结构的大规模场景中更加稳健。

    Nov, 2023

  • 用于自监督 360 深度估计的球面视角合成

    本文探讨了自我监督的球面视图综合方法对于学习单目 360 度深度的可行性，并利用几何形式提出了水平和垂直基线、三目的结果。同时，本研究还展示了在等距矩形域内应用传统 CNN 的表现更佳的方法，并利用地面真实深度数据进行比较，结果表明①替代性研究方向可能更适合实现更高质量的深度感知。

    Sep, 2019

  • OmniFusion: 基于几何感知融合的 360 单目深度估计

    本篇论文提出了一种名为 OmniFusion 的 360 单目深度估计流程，通过将 360 图像转换为切线图像并采用 CNN 进行分段预测，最后合并分段结果以处理球形畸变问题，并通过几何感知特征融合机制、自注意力变换架构和迭代深度细化机制处理分段预测不一致问题，成功的在多个 360 单目深度估计基准数据集上取得了最先进的性能。

    Mar, 2022

  • 消除盲区：将 3D 物体检测和单目深度估计应用于 360° 全景图像

    本研究提出了一种处理全景图像的深度学习算法，通过样式和投影转换，重新训练和调整现有的算法，从单目全景图像中恢复场景深度和车辆的三维姿态，大大提高了无人驾驶汽车使用全景摄像头时的准确性。

    Aug, 2018

  • 基于增量运动结构的球面图像三维重建

    本文研究基于球面图像拍摄几何的三维重建算法，提出了增量式结构化学习工作流并通过三个球面数据集进行验证。结果证明该工作流可以成功重建复杂场景并为开源软件包的实现提供有用线索。

    Jun, 2023

  • 利用几何和深度学习从全景图像创建布局

    该论文提出了一种从单个全景图像中恢复室内场景的三维布局恢复新方法，该方法结合几何推理和深度学习技术，从而提取结构角并生成房间的布局模型，并在 SUN360 和 Stanford 公共数据集上进行实验。

    Jun, 2018