学习短片制作:如何将 360 度视频转为 2D 格式进行无缝浏览
提出了一种名为 360-Degree Video Diffusion model (360DVD) 的可控全景视频生成方法,通过引入 360-Adapter 轻量级模块和辅助 360 度增强技术,将预训练的文字到视频模型转化为生成全景视频的模型,并提出了 WEB360 数据集来训练 360DVD,实验证明其在全景视频生成方面具有卓越的优势和效果。
Jan, 2024
本研究概述了全向(360 度)视频在计算机视觉算法中面临的挑战,如广泛采用的特殊(equirectangular)投影和巨大的图像尺寸,并提出了适应全向视频特定需求的计算机视觉算法策略。
Jul, 2019
本文介绍了一种针对头戴显示器的多视点自适应 360 度视频流系统,实现了在提供沉浸式体验的同时降低带宽的浪费。研究表明铰接映射的布局是比较适合这种技术的。
Sep, 2016
本文提出了一种基于 Pannini 投影模型的全自动框架,用于从 360 度视频中生成内容感知的 2D 正常视角的视点视频,并着重于保留重要图像内容和减少图像失真。
Apr, 2017
对于全景图像和全景视频这样的视频信号,其常常存在各种视觉畸变,这篇文章对这些畸变进行了综述,为算法设计提供了依据,并且必要于心理视觉学习及交互性和沉浸式应用研究。
Jan, 2019
本文提出了一种名为 Pano 的 360 度视频流系统,它利用了 360 度视频的独特因素,包括用户视角的移动速度、视频亮度的变化和视角周围可视物体景深的差异,提出了一种变大小的铺砖方案以在视觉效果和视频编码效率之间取得平衡,以及一种最大化 360 度视频用户感知质量的新的质量自适应逻辑,通过用户研究和跟踪分析的评估表明,相比现有技术,Pano 可以节省 41-46%的带宽,同时不会降低感知质量,或者可以提高感知质量 25%-142%而不会增加带宽使用。
Nov, 2019
本文介紹了一個從編碼到顯示的新型端到端流媒體系統,用於傳輸 8K 分辨率的 360 度視頻,並使用頭戴顯示器提供增強的虛擬現實體驗,其主要貢獻在於瓷磚、MPEG-DASH 標準的集成和視口感知的比特率級選擇。
Nov, 2017
提出了一种基于深度学习的 360 度运动视频智能导航器,通过直接从数据中学习在线策略,使用策略梯度技术联合训练管道,包括最小化测量选择和实际观看角度之间距离的回归损失、平滑过渡损失和最大化关注前景对象的预期奖励等。通过对五个领域具体运动的培训,产生了最佳的表现,并在选择角度准确性和过渡平稳性方面超越其他基线。
May, 2017