MMJul, 2018

连接全向视频 VQA 和人类行为：一个大规模数据集和深度学习模型

PDF
TL;DR本文提出了一个大规模的全景视频可视质量评估数据集 VQA-OV，其中包括 60 个参考序列和 540 个受损序列，并通过挖掘数据集发现全景视频的主观质量确实与人类头部和眼部移动相关，并开发了一个 Deep Learning 模型，将头部和眼部移动嵌入目标 VQA，实验结果表明，我们的模型显著改善了全景视频 VQA 的最新性能。
omnidirectional videovisual quality assessmentsubjective qualityhuman behaviordeep learning model
发现论文，激发创造
  • 全向音视频信号的感知质量评估

    本研究首次建立了一个大规模的音视频品质评估数据集，用于评估全向视频的音视频质量。通过多模态融合策略，设计了三种基准方法来评估全向音视频的品质，并验证了融合方法在全向体验评估中的有效性。

    Jul, 2023

  • 使用主观真实感全方位相机的视觉障碍人士视频问答

    针对视觉障碍者每天面临的挑战，如信息获取的限制、导航困难和社交互动的障碍，本文引入了一种新颖的视觉问答数据集。我们的数据集相对于以往的数据集具有两个重要的改进：首先，通过使用全景佩戴式摄像头拍摄的视频，观察整个环境，与以前的静态图像为中心的数据集不同；其次，与以往集中在单一挑战上的数据集不同，我们的数据集通过创新的视觉问答框架同时解决了多个现实生活中的障碍。我们使用各种先进的视频问答方法和多样化的度量验证了我们的数据集。结果表明，虽然取得了一些进展，AI 辅助服务对于视觉障碍者来说仍然没有达到满意的性能水平。此外，我们的评估突出了 360 度摄像头拍摄的视频中的自我运动特点和各种情境的独特特征。

    May, 2024

  • 360VOTS：全景视频中的视觉目标跟踪与分割

    360° 全景视频中的视觉目标跟踪和分割是挑战性的，该论文提出了一种新的扩展视野边界表示方法，用于目标定位，并且利用该方法建立了一个适用于全景视觉目标跟踪和分割任务的通用框架。此外，论文还介绍了一个全面的数据集和基准测试集，用于开发和评估该领域的算法。经过广泛的实验，论文评估了最先进的方法，证明了提出的 360° 跟踪框架和训练数据集的有效性。

    Apr, 2024

  • 球形视觉 Transformer 用于 360 度视频显著性预测

    提出了一个基于视觉转换器的新型全景视频模型 SalViT360，利用切线图像表示，在球面几何感知的时空自注意机制方面提出了一种有效的全景视频理解方法，并引入了一种基于一致性的无监督正则化项以减少 360 度密集预测模型中逆投影之后出现的伪影，实验证明了该方法在三个全景视觉显著性数据集上的有效性超过了现有技术。

    Aug, 2023

  • 适应全景视频的计算机视觉算法

    本研究概述了全向（360 度）视频在计算机视觉算法中面临的挑战，如广泛采用的特殊（equirectangular）投影和巨大的图像尺寸，并提出了适应全向视频特定需求的计算机视觉算法策略。

    Jul, 2019

  • 360VOT：一种新的全向视觉目标跟踪基准数据集

    本文研究探索了如何利用 360° 图像进行视觉目标的追踪，并介绍了由于大变形、拼接伪影和其他独特属性所带来的新挑战。为了解决这些问题，文中提出了一种新颖的目标定位表示方式 —— 边界视野，并引入了一个通用的 360° 追踪框架，该框架可以用于全向追踪。此外，为了促进未来的研究，作者提出了一个新的大规模全向追踪基准数据集 ——360VOT，其中包含 120 个不同场景中的序列，共有 113K 个高分辨率的等距投影帧。追踪目标涵盖 32 个类别。另外，作者还提供了 4 种无偏的基准数据，包括（旋转的）边界框和（旋转的）边界视野，并提出了适用于 360° 图像的新度量标准，以便对全向追踪性能进行准确评估。最后，作者还对 20 种最先进的视觉追踪算法进行了广泛评估，并为未来的比较提供了新的基准。

    Jul, 2023

  • 全景视频中头部运动的预测：一种深度强化学习方法

    本研究建立了一个数据集来收集被试者在全景视频序列中的头部运动，发现数据高度一致。基于此，利用深度强化学习预测头部运动的位置，提出了一种基于离线和在线版本的 DRL 预测方法，在实验证明该方法在全景视频 HM 位置的离线和在线预测中都有效

    Oct, 2017

  • OmniMVS：全向立体匹配的端到端学习

    本文提出了一种新颖的端到端深度神经网络模型，用于从广角多视角立体成像中实现全向深度估计，并提出了大规模的合成数据集来用于算法的训练与测试。结果表明，所提出的方法在合成和实际环境中都生成了出色的结果，并优于现有技术。

    Aug, 2019

  • Assessor360：用于盲目全向图像质量评估的多序列网络

    本文提出了一种新颖的针对盲目全景图像质量评估（BOIQA）的多序列网络 Assessor360，其通过结合内容和细节信息生成多个视口序列，设计多尺度特征聚合模块和扭曲感知块来融合畸变和语义特征，以及设备 TMM 来学习时间域中的视口转换，证实了 Assessor360 在多个 OIQA 数据集上优于现有的 BOIQA 方法。

    May, 2023

  • 通过同构表示学习全向视频的全方位流动

    本文提出了一种感知自然合成全方位视角光流数据集 FLOW360，其中包括 40 个不同的视频和 4000 个视频帧。为适应全方位的本质，我们提出了一种新的全方位光流表示学习框架 SLOF，通过对比损失和光流损失相结合的混合损失函数对网络进行对比训练，证明了该框架的有效性，并表现出 40% 的性能提升。

    Aug, 2022