Nov, 2017

基于瓦片的全景视频流适应性流媒体技术在虚拟现实中的视区感知应用

PDF
TL;DR本文介紹了一個從編碼到顯示的新型端到端流媒體系統，用於傳輸 8K 分辨率的 360 度視頻，並使用頭戴顯示器提供增強的虛擬現實體驗，其主要貢獻在於瓷磚、MPEG-DASH 標準的集成和視口感知的比特率級選擇。
发现论文，激发创造
  • 适应视口的 360 度可导航视频传递

    本文介绍了一种针对头戴显示器的多视点自适应 360 度视频流系统，实现了在提供沉浸式体验的同时降低带宽的浪费。研究表明铰接映射的布局是比较适合这种技术的。

    Sep, 2016

  • Pano：通过更好地理解质量感知来优化 360° 视频流传输

    本文提出了一种名为 Pano 的 360 度视频流系统，它利用了 360 度视频的独特因素，包括用户视角的移动速度、视频亮度的变化和视角周围可视物体景深的差异，提出了一种变大小的铺砖方案以在视觉效果和视频编码效率之间取得平衡，以及一种最大化 360 度视频用户感知质量的新的质量自适应逻辑，通过用户研究和跟踪分析的评估表明，相比现有技术，Pano 可以节省 41-46％的带宽，同时不会降低感知质量，或者可以提高感知质量 25％-142％而不会增加带宽使用。

    Nov, 2019

  • 基于 MADRL 的 360° 视频流媒体自适应与多视点预测

    提出了一种多模态时空注意力转换器来生成多个视点轨迹，基于多视点预测的多智能体深度强化学习 (MADRL) 的自适应比特率流媒体算法，用于在不同的网络条件下最大化不同的体验质量 (QoE) 目标，实验结果显示与现有的自适应比特率方法相比，提出的方法可将定义的 QoE 度量改善高达 85.5%。

    May, 2024

  • 优化速率和功用的增强现实体积媒体流媒体

    该研究介绍了一种专门用于流式传输全息媒体的系统，通过引入 3D 切片并根据其与用户视野的关系和距离减少它们的数量或减少其细节级别来降低带宽和延迟，提高用户体验。

    Apr, 2018

  • 虚拟现实视口预测中的鲁棒和资源有效的机器学习辅助

    本文提出了一种基于元学习和机器学习的视口预测范式，旨在减少 360 度全景视频的资源消耗，提高视口预测的鲁棒性，该模型通过迅速适应每个用户，可以显着提高预测准确性。

    Dec, 2022

  • 学习短片制作：如何将 360 度视频转为 2D 格式进行无缝浏览

    在 360 度视频中，虚拟电影技术被用于自动控制镜头，改善手动控制的体验，并通过提出的更高效的算法，使得推广虚拟电影成为可能。

    Mar, 2017

  • 360 度视频 / 图像处理的最新技术：感知、评估及压缩

    对 360 度视频 / 图像的感知、评估和压缩方面的研究进行综述，最终总结论文并展望未来的研究趋势。

    May, 2019

  • 通过探索视频显著性和轨迹信息进行三维视频流媒体的视口预测

    本研究提出了一种名为 Saliency and Trajectory Viewport Prediction (STVP) 的新方法，采用视频显著性信息和视口轨迹来提高体积视频传输中视口预测的精确性，并通过引入 Uniform Random Sampling (URS) 和显著性检测技术实现了更准确的视口预测。

    Nov, 2023

  • ResVR：全景图像的联合缩放和视口渲染

    本研究提出了 ResVR 框架，该框架可以在保持低传输开销的同时，为用户呈现具有高质量的头戴显示器中观看的全景图。通过开发一种新的像素采样策略处理视口与 ERP 之间的复杂映射，并创新地使用球面微分生成球形像素形状表示技术来改善呈现视口的视觉质量，我们的 ResVR 在不同视场、分辨率和视角条件下的视口呈现任务中表现优于现有方法。

    Apr, 2024

  • 大都会中的异构 360 度视频：差异化强化学习除法

    该论文提出了一个新颖的服务质量模型，用于具有不同帧率和晕动感要求的异构 360 度视频。我们使用自设计的差异化深度强化学习算法，采用帧槽结构和逐帧优化的方法进行研究。我们设计了两种结构 SIDO 和 MIDO，在这种异构场景中进行了广泛的实验以证明其有效性。

    Aug, 2023