基于语义的 360 度视频超时速漫游生成
使用一种称为 PanoDiff 的新型方法,通过使用一个或多个未注册的 Narrow Field-of-View (NFoV) 图像,高效地生成完整的 360° 全景图,该方法通过两个主要组件来克服以往方法中的局限性,包括两阶段的角度预测模块和一种基于潜在扩散的全景生成模型,实验表明 PanoDiff 实现了最先进的全景生成质量和高可控性,适用于内容编辑等应用。
Aug, 2023
本文提出了一种名为 Panoramic Vision Transformer(PAVER)的新框架,能够使用 Vision Transformer 结合可变形卷积从 360 度视频的局部特征中学习视觉显著性,从而在 Wild360 基准测试上显著优于其他先进模型,无需监督或辅助信息。
Sep, 2022
本文提出了一种基于空间和时间摘要的方法来从长视频中检测高光部分。通过从无限视角中选择宜人的普通视野 (NFOV) 段落并将其在时间上进行总结,选择子镜头的子集来形成简明的和信息丰富的高光。研究人员提出了一种名为组合视图分数 (CVS) 模型的新型深度排名模型,该模型为每个视频段的组合生成一个球面分数图,并在推理时通过滑动窗口内核确定哪个视图适用于高光。通过在 Pano2Vid 基准数据集和从 YouTube 和 Vimeo 收集的我们新收集的 360 度视频亮点数据集上评估所提出的框架,我们进行了实验。通过使用定量总结度量和通过 Amazon Mechanical Turk 的用户研究进行评估,我们证明了我们的方法优于几种现有的高光检测方法。同时,我们还展示了我们的模型在推理速度上比 AutoCam (360 视频摘要的第一个算法之一) 快 16 倍。
Jan, 2018
提出了一种名为 360-Degree Video Diffusion model (360DVD) 的可控全景视频生成方法,通过引入 360-Adapter 轻量级模块和辅助 360 度增强技术,将预训练的文字到视频模型转化为生成全景视频的模型,并提出了 WEB360 数据集来训练 360DVD,实验证明其在全景视频生成方面具有卓越的优势和效果。
Jan, 2024
通过对一个地标的互联网图片库进行计算,本研究实现了一个具有逼真视差效果的 3D 时光流影片,其中添加了虚拟相机的运动,同时解决了多个技术难点,包括解决时变深度图、使 3D 点颜色轮廓规则化、从预测轮廓中重建每帧高质量、无缺陷的图像。我们的结果展示了多年来城市天际线和自然场景的逼真时光流视频,具有明显的视差效果。
Nov, 2015
使用潜在空间视点估计的多功能高效 360 度全景视图插值框架 ——See360,采用 2D 仿射变换的方式处理摄像机为中心的视图合成,实现了四个训练数据集的实时渲染和野外视图合成的出色性能。
Jan, 2024
该研究提出了一个综合的系统,用于 360 度视频的时空摘要。该系统通过检测显著事件并将其摘要成简洁的摘要来生成视频摘要。研究使用了最先进的 360 度视频显著性检测和视频摘要方法,并包含了一种根据录制过程中使用的静态或移动摄像机分类 360 度视频并决定使用哪种显著性检测方法的机制,以及一个负责在 360 度视频中创建包含显著事件的传统 2D 视频的二维视频生成组件。通过使用两个 360 度视频显著性检测数据集(VR-EyeTracking、Sports-360)对系统进行定量评估,证明了开发的决策机制的准确性和良好影响,并验证了使用两种不同方法检测显著事件的选择。对这些数据集内容进行定性分析,可以进一步了解决策机制的功能,展示所使用的每种显著性检测方法的优缺点,并展示经过训练的摘要方法对比传统方法的高级性能。
Dec, 2023
在 360 度视频中,虚拟电影技术被用于自动控制镜头,改善手动控制的体验,并通过提出的更高效的算法,使得推广虚拟电影成为可能。
Mar, 2017
本文提出了一种基于 Pannini 投影模型的全自动框架,用于从 360 度视频中生成内容感知的 2D 正常视角的视点视频,并着重于保留重要图像内容和减少图像失真。
Apr, 2017