UniFuse: 360 度全景深度估计的单向融合
使用教师 - 学生模型融合环形和球形表达的方法,开发了一种新的球形卷积核计算方法和分割特征融合(SFF)方法来提取特征,并使用教师 - 学生模型学习深度图像的潜在特征,从而实现对环形图像深度图的估计。在实验中,该方法在 360 度单眼深度估计基准数据集上进行了测试,并且在大多数评估指标上优于现有方法。
May, 2024
本篇论文提出了一种名为 OmniFusion 的 360 单目深度估计流程,通过将 360 图像转换为切线图像并采用 CNN 进行分段预测,最后合并分段结果以处理球形畸变问题,并通过几何感知特征融合机制、自注意力变换架构和迭代深度细化机制处理分段预测不一致问题,成功的在多个 360 单目深度估计基准数据集上取得了最先进的性能。
Mar, 2022
本论文提出了一种新颖的自监督学习方法来从 360 度视频中预测全向深度和相机运动,通过转换图像类型,提出全视角光度一致性约束和相机姿态一致性误差等方法来提高视频运行速度,同时实现了比等面投影更快速的深度预测和相机运动估计。
Nov, 2018
通过使用标准的卷积神经网络(CNNs)处理改进的球面居中投影和等距圆柱投影的等距视角图像,该研究实现了对广角图像进行语义分割的效果,相比于其他三种方法,该方法具有最高的平均交并比(IoU)值,分别提高了 23.85%、10.7%和 17.23%。
Oct, 2023
本文介绍了一种使用多投影融合框架的深度神经网络来估计 360 度光流的方法,以解决全景表示在卷积神经网络中的畸变问题。同时,建立了第一个大规模的全景光流数据集,并证明了该方法在性能上优于现有的方法和其他处理 360 度内容的深度网络。
Jul, 2022
本研究提出了一种基于 Transformer 的跨模态融合架构,用于弥合多模态融合与全景场景感知之间的差距,并使用失真感知模块来处理极端对象变形和全景失真,通过跨模态交互实现特征矫正和信息交换,最终将特征合并以传达双模态和三模态特征流的长程上下文,通过在三个室内全景数据集中四种不同模态类型的组合进行彻底测试,我们的技术在 Stanford2D3DS(RGB-HHA)上达到了 60.60% 的 mIoU 性能,Structured3D(RGB-D-N)上达到了 71.97% 的 mIoU 性能,Matterport3D(RGB-D)上达到了 35.92% 的 mIoU 性能。
Aug, 2023
提出一种新的神经网络架构,用于解决 360° 图像中的球面视差问题,并通过学习可移位滤波器构建代价体积以缓解失真问题,实验结果表明其对现有算法具有较好的鲁棒性和准确性。
Nov, 2019
本文探讨了自我监督的球面视图综合方法对于学习单目 360 度深度的可行性,并利用几何形式提出了水平和垂直基线、三目的结果。同时,本研究还展示了在等距矩形域内应用传统 CNN 的表现更佳的方法,并利用地面真实深度数据进行比较,结果表明①替代性研究方向可能更适合实现更高质量的深度感知。
Sep, 2019
360 深度估计是重建三维场景的关键技术之一。本文提出了一种名为 Elite360D 的新框架,通过使用 ERP 图像和 ICOSAP 点集,结合局部和全局特征,有效地估计 360 深度,其在多个基准数据集上优于之前的方法。
Mar, 2024
360 度图像的深度估计是虚拟现实、自主导航和沉浸式媒体应用中至关重要的,本研究提出了一种使用未标记 360 度数据的深度估计框架,通过六面立方体投影技术生成伪标签来高效标注 360 度图像的深度,并在深度估计的准确度上展示了显著改进,特别是在零样本情况下。
Jun, 2024