360 度视频中的视觉失真
本研究概述了全向(360 度)视频在计算机视觉算法中面临的挑战,如广泛采用的特殊(equirectangular)投影和巨大的图像尺寸,并提出了适应全向视频特定需求的计算机视觉算法策略。
Jul, 2019
提出了一个基于视觉转换器的新型全景视频模型 SalViT360,利用切线图像表示,在球面几何感知的时空自注意机制方面提出了一种有效的全景视频理解方法,并引入了一种基于一致性的无监督正则化项以减少 360 度密集预测模型中逆投影之后出现的伪影,实验证明了该方法在三个全景视觉显著性数据集上的有效性超过了现有技术。
Aug, 2023
本文介绍了一种针对头戴显示器的多视点自适应 360 度视频流系统,实现了在提供沉浸式体验的同时降低带宽的浪费。研究表明铰接映射的布局是比较适合这种技术的。
Sep, 2016
本文研究探索了如何利用 360° 图像进行视觉目标的追踪,并介绍了由于大变形、拼接伪影和其他独特属性所带来的新挑战。为了解决这些问题,文中提出了一种新颖的目标定位表示方式 —— 边界视野,并引入了一个通用的 360° 追踪框架,该框架可以用于全向追踪。此外,为了促进未来的研究,作者提出了一个新的大规模全向追踪基准数据集 ——360VOT,其中包含 120 个不同场景中的序列,共有 113K 个高分辨率的等距投影帧。追踪目标涵盖 32 个类别。另外,作者还提供了 4 种无偏的基准数据,包括(旋转的)边界框和(旋转的)边界视野,并提出了适用于 360° 图像的新度量标准,以便对全向追踪性能进行准确评估。最后,作者还对 20 种最先进的视觉追踪算法进行了广泛评估,并为未来的比较提供了新的基准。
Jul, 2023
本文提出了一种基于切线图像的 360 度光流方法,该方法利用诺蒙尼克投影将 ERP 图像局部转换为透视图像,并通过在立方体映射和正二十面体顶点投影到 ERP 图像中等距采样以增量地优化所估计的 360 度光流场。
Dec, 2021
360° 全景视频中的视觉目标跟踪和分割是挑战性的,该论文提出了一种新的扩展视野边界表示方法,用于目标定位,并且利用该方法建立了一个适用于全景视觉目标跟踪和分割任务的通用框架。此外,论文还介绍了一个全面的数据集和基准测试集,用于开发和评估该领域的算法。经过广泛的实验,论文评估了最先进的方法,证明了提出的 360° 跟踪框架和训练数据集的有效性。
Apr, 2024
我们提出了一个工具,用于生成具有语义和深度信息的全向图像数据集。这些图像是从采集于虚拟环境中的捕捉集合中合成的,能够提供像素级的关于语义、深度以及摄像头的校准参数的信息,从而为机器学习算法的训练和三维视觉方法的测试提供了像素精度的真实信息。
Jan, 2024
本研究首次建立了一个大规模的音视频品质评估数据集,用于评估全向视频的音视频质量。通过多模态融合策略,设计了三种基准方法来评估全向音视频的品质,并验证了融合方法在全向体验评估中的有效性。
Jul, 2023
在 360 度视频中,虚拟电影技术被用于自动控制镜头,改善手动控制的体验,并通过提出的更高效的算法,使得推广虚拟电影成为可能。
Mar, 2017