MMNov, 2019

Pano：通过更好地理解质量感知来优化 360° 视频流传输

PDF
TL;DR本文提出了一种名为 Pano 的 360 度视频流系统，它利用了 360 度视频的独特因素，包括用户视角的移动速度、视频亮度的变化和视角周围可视物体景深的差异，提出了一种变大小的铺砖方案以在视觉效果和视频编码效率之间取得平衡，以及一种最大化 360 度视频用户感知质量的新的质量自适应逻辑，通过用户研究和跟踪分析的评估表明，相比现有技术，Pano 可以节省 41-46％的带宽，同时不会降低感知质量，或者可以提高感知质量 25％-142％而不会增加带宽使用。
360-degree videobandwidth demandpanoquality modelvariable-sized tiling
发现论文，激发创造
  • 适应视口的 360 度可导航视频传递

    本文介绍了一种针对头戴显示器的多视点自适应 360 度视频流系统，实现了在提供沉浸式体验的同时降低带宽的浪费。研究表明铰接映射的布局是比较适合这种技术的。

    Sep, 2016

  • 基于瓦片的全景视频流适应性流媒体技术在虚拟现实中的视区感知应用

    本文介紹了一個從編碼到顯示的新型端到端流媒體系統，用於傳輸 8K 分辨率的 360 度視頻，並使用頭戴顯示器提供增強的虛擬現實體驗，其主要貢獻在於瓷磚、MPEG-DASH 標準的集成和視口感知的比特率級選擇。

    Nov, 2017

  • 360 度视频 / 图像处理的最新技术：感知、评估及压缩

    对 360 度视频 / 图像的感知、评估和压缩方面的研究进行综述，最终总结论文并展望未来的研究趋势。

    May, 2019

  • 360DVD: 360 度视频扩散模型下的可控全景视频生成

    提出了一种名为 360-Degree Video Diffusion model (360DVD) 的可控全景视频生成方法，通过引入 360-Adapter 轻量级模块和辅助 360 度增强技术，将预训练的文字到视频模型转化为生成全景视频的模型，并提出了 WEB360 数据集来训练 360DVD，实验证明其在全景视频生成方面具有卓越的优势和效果。

    Jan, 2024

  • 360° 视频自动内容感知投影

    本文提出了一种基于 Pannini 投影模型的全自动框架，用于从 360 度视频中生成内容感知的 2D 正常视角的视点视频，并着重于保留重要图像内容和减少图像失真。

    Apr, 2017

  • 学习短片制作：如何将 360 度视频转为 2D 格式进行无缝浏览

    在 360 度视频中，虚拟电影技术被用于自动控制镜头，改善手动控制的体验，并通过提出的更高效的算法，使得推广虚拟电影成为可能。

    Mar, 2017

  • 从少量未注册的超广角图像生成 360 度全景

    使用一种称为 PanoDiff 的新型方法，通过使用一个或多个未注册的 Narrow Field-of-View (NFoV) 图像，高效地生成完整的 360° 全景图，该方法通过两个主要组件来克服以往方法中的局限性，包括两阶段的角度预测模块和一种基于潜在扩散的全景生成模型，实验表明 PanoDiff 实现了最先进的全景生成质量和高可控性，适用于内容编辑等应用。

    Aug, 2023

  • 基于学习的扫描路径辅助盲人全景视频质量评估

    提出了一种基于视觉扫描路径通过用户视觉浏览模式的全程优化的盲目全景视频质量评估方法，包括扫描路径生成器和质量评估器，通过将全景图像视为由相同帧组成的视频，实现对全景图像的直接质量评估，并在三个公共全景图像和视频质量数据集上的实验证实了该方法的优越性。

    Mar, 2024

  • 全景视觉 Transformer 用于 360 度视频显著性检测

    本文提出了一种名为 Panoramic Vision Transformer（PAVER）的新框架，能够使用 Vision Transformer 结合可变形卷积从 360 度视频的局部特征中学习视觉显著性，从而在 Wild360 基准测试上显著优于其他先进模型，无需监督或辅助信息。

    Sep, 2022

  • Diffusion360: 基于扩散模型的无缝 360 度全景图像生成

    基于扩散模型的 360 度全景图像生成任务的技术报告，提出了一种圆形混合策略，以实现几何连续性，同时提出了文本到 360 度全景图像和单图像到 360 度全景图像两个任务的模型

    Nov, 2023