360 度广域:深度预测与视角合成数据集
本论文研究了 360 图像的深度估计问题,提出了使用重新渲染的 3D 在线数据集来解决缺乏高质量 360 数据集的挑战,并使用这个数据集实现了端对端的深度估计模型
Jul, 2018
360Loc 是首个基于可视定位的横跨设备视觉定位数据集和基准。通过结合 360° 图像和激光雷达数据生成全景真实 6DoF 姿态,360Loc 实现了 360° 视图映射,并通过虚拟相机方法为不同查询类型的视觉定位任务提供了公平比较性能的机会。研究结果表明,全景视觉定位在具有对称和重复结构的大规模场景中更加稳健。
Nov, 2023
该研究使用多个视角和多种数据模式,提供全景视角和个人视角的场景理解数据集,以模拟真实世界中的信息访问方式,并通过 5 个不同的场景理解任务对数据集进行了评估,希望为综合场景理解提供更广泛的范围和多元化视角。
Apr, 2024
本研究提供一个实际的室内 360 度全景物体检测数据集(360-Indoor),包含 37 个操作室内场景中常见的物体类别,每张图像平均 27 个包围盒。该数据集是首个用于验证 360 度图像上物体检测和识别的基准数据集。
Oct, 2019
介绍了 OmniHorizon 数据集,包含广泛的室内外空间,包括建筑、街道和各种植被,也考虑了动态场景组件,还演示了基于相应数据集的学习合成到真实的跨域推理方法。提出了 UBotNet 架构来估计场景一致性法线,UBotNet 在深度和法线估计上比几个现有的网络(如带跳过连接的 U-Net)显著提高了准确性。最后在真实世界图像上演示了 UBotNet 的深度和法线估计,展示了所提议的数据集和网络在场景理解方面的潜力。
Dec, 2022
本文研究探索了如何利用 360° 图像进行视觉目标的追踪,并介绍了由于大变形、拼接伪影和其他独特属性所带来的新挑战。为了解决这些问题,文中提出了一种新颖的目标定位表示方式 —— 边界视野,并引入了一个通用的 360° 追踪框架,该框架可以用于全向追踪。此外,为了促进未来的研究,作者提出了一个新的大规模全向追踪基准数据集 ——360VOT,其中包含 120 个不同场景中的序列,共有 113K 个高分辨率的等距投影帧。追踪目标涵盖 32 个类别。另外,作者还提供了 4 种无偏的基准数据,包括(旋转的)边界框和(旋转的)边界视野,并提出了适用于 360° 图像的新度量标准,以便对全向追踪性能进行准确评估。最后,作者还对 20 种最先进的视觉追踪算法进行了广泛评估,并为未来的比较提供了新的基准。
Jul, 2023
提出一种基于切线图像的高分辨率 360 度图像单目深度估计方法,通过将输入的 360 度图像投影到切线平面上得到透视视图,以此来支持最新的和最准确的单目深度估计器,采用可变形多尺度对齐和梯度域混合来重新组合单个深度估计,产生具有高分辨率和高细节的稠密 360 度景深图。
Nov, 2021
本文探讨了自我监督的球面视图综合方法对于学习单目 360 度深度的可行性,并利用几何形式提出了水平和垂直基线、三目的结果。同时,本研究还展示了在等距矩形域内应用传统 CNN 的表现更佳的方法,并利用地面真实深度数据进行比较,结果表明①替代性研究方向可能更适合实现更高质量的深度感知。
Sep, 2019
本文介绍一个新的大规模室内合成数据集 THEODORE,包含 100,000 张物体的高分辨率多样化鱼眼图像,附带语义分割、实例掩模和物体检测任务的边界框注释,通过图像合成和域随机化高度泛化我们的模型,AP 可达 0.84
Nov, 2020
360 度图像的深度估计是虚拟现实、自主导航和沉浸式媒体应用中至关重要的,本研究提出了一种使用未标记 360 度数据的深度估计框架,通过六面立方体投影技术生成伪标签来高效标注 360 度图像的深度,并在深度估计的准确度上展示了显著改进,特别是在零样本情况下。
Jun, 2024