ICCVJul, 2023

360VOT：一种新的全向视觉目标跟踪基准数据集

PDF
TL;DR本文研究探索了如何利用 360° 图像进行视觉目标的追踪，并介绍了由于大变形、拼接伪影和其他独特属性所带来的新挑战。为了解决这些问题，文中提出了一种新颖的目标定位表示方式 —— 边界视野，并引入了一个通用的 360° 追踪框架，该框架可以用于全向追踪。此外，为了促进未来的研究，作者提出了一个新的大规模全向追踪基准数据集 ——360VOT，其中包含 120 个不同场景中的序列，共有 113K 个高分辨率的等距投影帧。追踪目标涵盖 32 个类别。另外，作者还提供了 4 种无偏的基准数据，包括（旋转的）边界框和（旋转的）边界视野，并提出了适用于 360° 图像的新度量标准，以便对全向追踪性能进行准确评估。最后，作者还对 20 种最先进的视觉追踪算法进行了广泛评估，并为未来的比较提供了新的基准。
360° imagesobject trackingbounding field-of-viewomnidirectional tracking360vot dataset
发现论文，激发创造
  • 360VOTS：全景视频中的视觉目标跟踪与分割

    360° 全景视频中的视觉目标跟踪和分割是挑战性的，该论文提出了一种新的扩展视野边界表示方法，用于目标定位，并且利用该方法建立了一个适用于全景视觉目标跟踪和分割任务的通用框架。此外，论文还介绍了一个全面的数据集和基准测试集，用于开发和评估该领域的算法。经过广泛的实验，论文评估了最先进的方法，证明了提出的 360° 跟踪框架和训练数据集的有效性。

    Apr, 2024

  • 360Loc: 用于跨设备查询的全景视觉定位数据集和基准

    360Loc 是首个基于可视定位的横跨设备视觉定位数据集和基准。通过结合 360° 图像和激光雷达数据生成全景真实 6DoF 姿态，360Loc 实现了 360° 视图映射，并通过虚拟相机方法为不同查询类型的视觉定位任务提供了公平比较性能的机会。研究结果表明，全景视觉定位在具有对称和重复结构的大规模场景中更加稳健。

    Nov, 2023

  • 360-Indoor: 学习在 360° 室内全景图像中的真实世界对象

    本研究提供一个实际的室内 360 度全景物体检测数据集（360-Indoor），包含 37 个操作室内场景中常见的物体类别，每张图像平均 27 个包围盒。该数据集是首个用于验证 360 度图像上物体检测和识别的基准数据集。

    Oct, 2019

  • 360 度广域：深度预测与视角合成数据集

    本文介绍了一个大规模 360 度视频数据集，包含各种环境和上下文，以及相机的姿态和深度图，证明了该数据集在单一图像深度估计和视图合成两个主要任务中的相关性。

    Jun, 2024

  • 球形视觉 Transformer 用于 360 度视频显著性预测

    提出了一个基于视觉转换器的新型全景视频模型 SalViT360，利用切线图像表示，在球面几何感知的时空自注意机制方面提出了一种有效的全景视频理解方法，并引入了一种基于一致性的无监督正则化项以减少 360 度密集预测模型中逆投影之后出现的伪影，实验证明了该方法在三个全景视觉显著性数据集上的有效性超过了现有技术。

    Aug, 2023

  • 通过同构表示学习全向视频的全方位流动

    本文提出了一种感知自然合成全方位视角光流数据集 FLOW360，其中包括 40 个不同的视频和 4000 个视频帧。为适应全方位的本质，我们提出了一种新的全方位光流表示学习框架 SLOF，通过对比损失和光流损失相结合的混合损失函数对网络进行对比训练，证明了该框架的有效性，并表现出 40% 的性能提升。

    Aug, 2022

  • 适应全景视频的计算机视觉算法

    本研究概述了全向（360 度）视频在计算机视觉算法中面临的挑战，如广泛采用的特殊（equirectangular）投影和巨大的图像尺寸，并提出了适应全向视频特定需求的计算机视觉算法策略。

    Jul, 2019

  • 全景室内密集深度估计

    本论文研究了 360 图像的深度估计问题，提出了使用重新渲染的 3D 在线数据集来解决缺乏高质量 360 数据集的挑战，并使用这个数据集实现了端对端的深度估计模型

    Jul, 2018

  • 360MonoDepth：高分辨率 360° 单目深度估计

    提出一种基于切线图像的高分辨率 360 度图像单目深度估计方法，通过将输入的 360 度图像投影到切线平面上得到透视视图，以此来支持最新的和最准确的单目深度估计器，采用可变形多尺度对齐和梯度域混合来重新组合单个深度估计，产生具有高分辨率和高细节的稠密 360 度景深图。

    Nov, 2021

  • 360 度切面图像的光流推算

    本文提出了一种基于切线图像的 360 度光流方法，该方法利用诺蒙尼克投影将 ERP 图像局部转换为透视图像，并通过在立方体映射和正二十面体顶点投影到 ERP 图像中等距采样以增量地优化所估计的 360 度光流场。

    Dec, 2021