适应全景视频的计算机视觉算法
360° 全景视频中的视觉目标跟踪和分割是挑战性的,该论文提出了一种新的扩展视野边界表示方法,用于目标定位,并且利用该方法建立了一个适用于全景视觉目标跟踪和分割任务的通用框架。此外,论文还介绍了一个全面的数据集和基准测试集,用于开发和评估该领域的算法。经过广泛的实验,论文评估了最先进的方法,证明了提出的 360° 跟踪框架和训练数据集的有效性。
Apr, 2024
对于全景图像和全景视频这样的视频信号,其常常存在各种视觉畸变,这篇文章对这些畸变进行了综述,为算法设计提供了依据,并且必要于心理视觉学习及交互性和沉浸式应用研究。
Jan, 2019
提出了一个基于视觉转换器的新型全景视频模型 SalViT360,利用切线图像表示,在球面几何感知的时空自注意机制方面提出了一种有效的全景视频理解方法,并引入了一种基于一致性的无监督正则化项以减少 360 度密集预测模型中逆投影之后出现的伪影,实验证明了该方法在三个全景视觉显著性数据集上的有效性超过了现有技术。
Aug, 2023
本研究使用基于图的方法来考虑全向相机的几何形式,并将其扩展到深度学习体系结构中,旨在提高全向图像分类的准确性。实验证明所提出的方法优于当前用于全向图像分类问题的技术。
Jul, 2017
我们提出了一个工具,用于生成具有语义和深度信息的全向图像数据集。这些图像是从采集于虚拟环境中的捕捉集合中合成的,能够提供像素级的关于语义、深度以及摄像头的校准参数的信息,从而为机器学习算法的训练和三维视觉方法的测试提供了像素精度的真实信息。
Jan, 2024
本文研究探索了如何利用 360° 图像进行视觉目标的追踪,并介绍了由于大变形、拼接伪影和其他独特属性所带来的新挑战。为了解决这些问题,文中提出了一种新颖的目标定位表示方式 —— 边界视野,并引入了一个通用的 360° 追踪框架,该框架可以用于全向追踪。此外,为了促进未来的研究,作者提出了一个新的大规模全向追踪基准数据集 ——360VOT,其中包含 120 个不同场景中的序列,共有 113K 个高分辨率的等距投影帧。追踪目标涵盖 32 个类别。另外,作者还提供了 4 种无偏的基准数据,包括(旋转的)边界框和(旋转的)边界视野,并提出了适用于 360° 图像的新度量标准,以便对全向追踪性能进行准确评估。最后,作者还对 20 种最先进的视觉追踪算法进行了广泛评估,并为未来的比较提供了新的基准。
Jul, 2023
在 360 度视频中,虚拟电影技术被用于自动控制镜头,改善手动控制的体验,并通过提出的更高效的算法,使得推广虚拟电影成为可能。
Mar, 2017
本文介绍了一种针对头戴显示器的多视点自适应 360 度视频流系统,实现了在提供沉浸式体验的同时降低带宽的浪费。研究表明铰接映射的布局是比较适合这种技术的。
Sep, 2016
本文提出了一种基于切线图像的 360 度光流方法,该方法利用诺蒙尼克投影将 ERP 图像局部转换为透视图像,并通过在立方体映射和正二十面体顶点投影到 ERP 图像中等距采样以增量地优化所估计的 360 度光流场。
Dec, 2021