CVPRJun, 2018

360° 视频弱监督显著性预测的 Cube Padding 技术

PDF
TL;DR本研究提出了一种基于空间 - 时间卷积神经网络（CNN）和立方体填充技术（Cube Padding）的 360 度全景视频显著性预测方法，以替代现有方法中常用的二维图像处理方式，取得了比基线方法更好的速度和质量表现。
360° videosaliency predictionspatial-temporal networkcube paddingcnn
发现论文，激发创造
  • 球形视觉 Transformer 用于 360 度视频显著性预测

    提出了一个基于视觉转换器的新型全景视频模型 SalViT360，利用切线图像表示，在球面几何感知的时空自注意机制方面提出了一种有效的全景视频理解方法，并引入了一种基于一致性的无监督正则化项以减少 360 度密集预测模型中逆投影之后出现的伪影，实验证明了该方法在三个全景视觉显著性数据集上的有效性超过了现有技术。

    Aug, 2023

  • 360° 视频深度和相机运动的自监督学习

    本论文提出了一种新颖的自监督学习方法来从 360 度视频中预测全向深度和相机运动，通过转换图像类型，提出全视角光度一致性约束和相机姿态一致性误差等方法来提高视频运行速度，同时实现了比等面投影更快速的深度预测和相机运动估计。

    Nov, 2018

  • 一种用于 360 度视频时空精彩片段检测的深度排名模型

    本文提出了一种基于空间和时间摘要的方法来从长视频中检测高光部分。通过从无限视角中选择宜人的普通视野 (NFOV) 段落并将其在时间上进行总结，选择子镜头的子集来形成简明的和信息丰富的高光。研究人员提出了一种名为组合视图分数 (CVS) 模型的新型深度排名模型，该模型为每个视频段的组合生成一个球面分数图，并在推理时通过滑动窗口内核确定哪个视图适用于高光。通过在 Pano2Vid 基准数据集和从 YouTube 和 Vimeo 收集的我们新收集的 360 度视频亮点数据集上评估所提出的框架，我们进行了实验。通过使用定量总结度量和通过 Amazon Mechanical Turk 的用户研究进行评估，我们证明了我们的方法优于几种现有的高光检测方法。同时，我们还展示了我们的模型在推理速度上比 AutoCam (360 视频摘要的第一个算法之一) 快 16 倍。

    Jan, 2018

  • 全景视觉 Transformer 用于 360 度视频显著性检测

    本文提出了一种名为 Panoramic Vision Transformer（PAVER）的新框架，能够使用 Vision Transformer 结合可变形卷积从 360 度视频的局部特征中学习视觉显著性，从而在 Wild360 基准测试上显著优于其他先进模型，无需监督或辅助信息。

    Sep, 2022

  • 学习球面卷积以从 360° 图像中快速提取特征

    该研究提出了一种基于球面卷积网络的方法来处理 360° 全景图像，该方法可以有效地提取特征并利用预先训练的卷积神经网络，从而大大降低了计算量和提高了准确性。

    Aug, 2017

  • 360 度全景图的快照角度预测

    通过智能旋转球形图像，开发一种基于强化学习算法的深度循环神经网络模型，以更少的计算量生成更具视觉吸引力的 360 度全景图。

    Mar, 2018

  • SaltiNet: 利用显著性体积在 360 度图像上预测扫描路径

    SaltiNet 是一个基于 360 度图像训练的深度神经网络，用于扫描路径预测，其基于时间感知的新颖显着性信息表示被称为显着性体积，并且我们的实验显示了使用显着性体积的优势。

    Jul, 2017

  • SalNet360：使用 CNN 生成全向图像的显著性图

    本文提出了一种对卷积神经网络进行扩展的架构，以使其能够有效地预测全向图像（ODI）中的视觉关注数据，从而为内容创建者提供帮助。研究人员通过展示每一步都可以使所生成的显着性地图与基础真实数据更加准确来证明这一算法的可行性。

    Sep, 2017

  • 360° 视频自动内容感知投影

    本文提出了一种基于 Pannini 投影模型的全自动框架，用于从 360 度视频中生成内容感知的 2D 正常视角的视点视频，并着重于保留重要图像内容和减少图像失真。

    Apr, 2017

  • 超球损失的 $360^o$ 表面回归

    本文通过利用现有的 3D 数据集和重新渲染的方式解决 $360^o$ 图像的表面法向数据不足的问题，并通过深度卷积神经网络来实现全景图像的表面估计。

    Sep, 2019