Elite360D:通过语义和距离感知双投影融合实现高效的 360 度深度估计
通过构建球形全连接 CRF 并引入球形窗口变换和平面 - 球面交互模块,提出了一种新的 360 度深度估计框架 CRF360D,可以在不同数据集上实现最先进的性能。
May, 2024
提出一种新的神经网络架构,用于解决 360° 图像中的球面视差问题,并通过学习可移位滤波器构建代价体积以缓解失真问题,实验结果表明其对现有算法具有较好的鲁棒性和准确性。
Nov, 2019
本篇论文提出了一种名为 OmniFusion 的 360 单目深度估计流程,通过将 360 图像转换为切线图像并采用 CNN 进行分段预测,最后合并分段结果以处理球形畸变问题,并通过几何感知特征融合机制、自注意力变换架构和迭代深度细化机制处理分段预测不一致问题,成功的在多个 360 单目深度估计基准数据集上取得了最先进的性能。
Mar, 2022
本论文研究了 360 图像的深度估计问题,提出了使用重新渲染的 3D 在线数据集来解决缺乏高质量 360 数据集的挑战,并使用这个数据集实现了端对端的深度估计模型
Jul, 2018
360 度图像的深度估计是虚拟现实、自主导航和沉浸式媒体应用中至关重要的,本研究提出了一种使用未标记 360 度数据的深度估计框架,通过六面立方体投影技术生成伪标签来高效标注 360 度图像的深度,并在深度估计的准确度上展示了显著改进,特别是在零样本情况下。
Jun, 2024
提出一种基于切线图像的高分辨率 360 度图像单目深度估计方法,通过将输入的 360 度图像投影到切线平面上得到透视视图,以此来支持最新的和最准确的单目深度估计器,采用可变形多尺度对齐和梯度域混合来重新组合单个深度估计,产生具有高分辨率和高细节的稠密 360 度景深图。
Nov, 2021
本文提出了一种基于切线图像的 360 度光流方法,该方法利用诺蒙尼克投影将 ERP 图像局部转换为透视图像,并通过在立方体映射和正二十面体顶点投影到 ERP 图像中等距采样以增量地优化所估计的 360 度光流场。
Dec, 2021
本文提出了一个 360 度深度估计的方法,结合自监督学习和有监督学习,并使用全局信息编码的视觉 transformer 实现全局非局部融合块,提高了深度估计的准确性和整体效果。在多个基准测试中,我们的方法在之前的研究工作中取得了显著的改进和最先进的表现。
Sep, 2021
本文介绍了一种使用多投影融合框架的深度神经网络来估计 360 度光流的方法,以解决全景表示在卷积神经网络中的畸变问题。同时,建立了第一个大规模的全景光流数据集,并证明了该方法在性能上优于现有的方法和其他处理 360 度内容的深度网络。
Jul, 2022
本文提出了一种新颖的框架 HRDFuse,该框架利用卷积神经网络和 transformers 协同学习从 ERP 和 TP 中捕获整体和区域上下文信息,以预测深度细节并生成最终的深度图,实验表明我们的方法预测出更平滑和精确的深度结果,并比现有技术实现更好的效果。
Mar, 2023