CVPRMar, 2022

OmniFusion: 基于几何感知融合的 360 单目深度估计

PDF
TL;DR本篇论文提出了一种名为 OmniFusion 的 360 单目深度估计流程，通过将 360 图像转换为切线图像并采用 CNN 进行分段预测，最后合并分段结果以处理球形畸变问题，并通过几何感知特征融合机制、自注意力变换架构和迭代深度细化机制处理分段预测不一致问题，成功的在多个 360 单目深度估计基准数据集上取得了最先进的性能。
360monocular depth estimationspherical distortioncnn layeriterative depth refinement
发现论文，激发创造
  • 全景室内密集深度估计

    本论文研究了 360 图像的深度估计问题，提出了使用重新渲染的 3D 在线数据集来解决缺乏高质量 360 数据集的挑战，并使用这个数据集实现了端对端的深度估计模型

    Jul, 2018

  • 360MonoDepth：高分辨率 360° 单目深度估计

    提出一种基于切线图像的高分辨率 360 度图像单目深度估计方法，通过将输入的 360 度图像投影到切线平面上得到透视视图，以此来支持最新的和最准确的单目深度估计器，采用可变形多尺度对齐和梯度域混合来重新组合单个深度估计，产生具有高分辨率和高细节的稠密 360 度景深图。

    Nov, 2021

  • 深度无处不在：通过透视蒸馏和无标签数据增强提升 360 度单目深度估计

    360 度图像的深度估计是虚拟现实、自主导航和沉浸式媒体应用中至关重要的，本研究提出了一种使用未标记 360 度数据的深度估计框架，通过六面立方体投影技术生成伪标签来高效标注 360 度图像的深度，并在深度估计的准确度上展示了显著改进，特别是在零样本情况下。

    Jun, 2024

  • 基于多投影融合的深度 360 度光流估计

    本文介绍了一种使用多投影融合框架的深度神经网络来估计 360 度光流的方法，以解决全景表示在卷积神经网络中的畸变问题。同时，建立了第一个大规模的全景光流数据集，并证明了该方法在性能上优于现有的方法和其他处理 360 度内容的深度网络。

    Jul, 2022

  • 通过非局部稠密预测转换器和联合监督和自监督学习提高 360 单 ocular 深度估计

    本文提出了一个 360 度深度估计的方法，结合自监督学习和有监督学习，并使用全局信息编码的视觉 transformer 实现全局非局部融合块，提高了深度估计的准确性和整体效果。在多个基准测试中，我们的方法在之前的研究工作中取得了显著的改进和最先进的表现。

    Sep, 2021

  • 畸变感知的全景图像单目深度估计

    这篇论文提出了一种新的网络模型 (DAMO) 来解决室内全景图像中对象失真的问题，该模型采用扭曲卷积来处理几何失真，进一步引入了基于球形感知的权重矩阵来处理由球体投影引起的不均匀分布，在 360D 数据集上实现了效果最佳的表现。

    Oct, 2020

  • 用于自监督 360 深度估计的球面视角合成

    本文探讨了自我监督的球面视图综合方法对于学习单目 360 度深度的可行性，并利用几何形式提出了水平和垂直基线、三目的结果。同时，本研究还展示了在等距矩形域内应用传统 CNN 的表现更佳的方法，并利用地面真实深度数据进行比较，结果表明①替代性研究方向可能更适合实现更高质量的深度感知。

    Sep, 2019

  • OmniMVS：全向立体匹配的端到端学习

    本文提出了一种新颖的端到端深度神经网络模型，用于从广角多视角立体成像中实现全向深度估计，并提出了大规模的合成数据集来用于算法的训练与测试。结果表明，所提出的方法在合成和实际环境中都生成了出色的结果，并优于现有技术。

    Aug, 2019

  • HRDFuse: 全局协作学习深度全景估计模型中整体和区域深度分布

    本文提出了一种新颖的框架 HRDFuse，该框架利用卷积神经网络和 transformers 协同学习从 ERP 和 TP 中捕获整体和区域上下文信息，以预测深度细节并生成最终的深度图，实验表明我们的方法预测出更平滑和精确的深度结果，并比现有技术实现更好的效果。

    Mar, 2023

  • 轻量级三维点融合提高单目深度估计

    本文提出一种增强单眼深度估计的方法，该方法采用 3D 点作为深度指导，并引入一种轻量级、高效的多尺度 3D 点融合网络，能够处理极其稀疏和不均匀分布的点云，实现了高精度深度估计。该方法优于当前一些基于深度学习的多视角立体和结构从运动方法，不仅精度更高，而且压缩性更好。

    Dec, 2020