基于 MADRL 的 360° 视频流媒体自适应与多视点预测

May, 2024

基于 MADRL 的 360° 视频流媒体自适应与多视点预测

MADRL-Based Rate Adaptation for 360$\degree$ Video Streaming with Multi-Viewpoint Prediction

Haopeng Wang, Zijian Long, Haiwei Dong, Abdulmotaleb El Saddik

TL;DR提出了一种多模态时空注意力转换器来生成多个视点轨迹，基于多视点预测的多智能体深度强化学习 (MADRL) 的自适应比特率流媒体算法，用于在不同的网络条件下最大化不同的体验质量 (QoE) 目标，实验结果显示与现有的自适应比特率方法相比，提出的方法可将定义的 QoE 度量改善高达 85.5%。

Abstract

Over the last few years, 360$\degree$ video traffic on the network has grown significantly. A key challenge of 360$\degree$ video playback is ensuring a high quality of experience (QoE) with limited network bandwidth. Currently, most studies focus on tile-based adaptive bitrate (ABR) streaming based on single viewport prediction to reduce bandwidth consumpti

360° video adaptive bitrate streaming viewpoint prediction multi-agent deep reinforcement learning qoe metric

发现论文，激发创造

采用强化学习的实时视频调整

在 Facebook 视频流平台，我们评估最新提出的基于 RL 的自适应比特率算法，采用可扩展的神经网络架构设计，利用贝叶斯优化进行奖励塑形，优化用户体验目标，以应对网络环境的随机性方差。在全球范围内超过 3000 万次视频流会话中，我们的 RL 方法优于现有的人工设计的算法。

Aug, 2020

基于瓦片的全景视频流适应性流媒体技术在虚拟现实中的视区感知应用

本文介紹了一個從編碼到顯示的新型端到端流媒體系統，用於傳輸 8K 分辨率的 360 度視頻，並使用頭戴顯示器提供增強的虛擬現實體驗，其主要貢獻在於瓷磚、MPEG-DASH 標準的集成和視口感知的比特率級選擇。

Nov, 2017

虚拟现实视口预测中的鲁棒和资源有效的机器学习辅助

本文提出了一种基于元学习和机器学习的视口预测范式，旨在减少 360 度全景视频的资源消耗，提高视口预测的鲁棒性，该模型通过迅速适应每个用户，可以显着提高预测准确性。

Dec, 2022

LL-GABR: 使用强化学习的能源高效实时视频流传输

用感知视频质量代替比特率，结合能量消耗、延迟等度量，提出 LL-GABR 深度强化学习算法，通过模拟实验结果验证其在感知 QoE 和能量效率上的优势。

Feb, 2024

无人机网络中基于神经网络自适应码率视频流传输的传感器增强技术

本文介绍了一种基于传感器数据及深度强化学习的视频自适应码率算法（SA-ABR），适用于无人机的实时高清视频传输，无需对无人机状态或环境进行假设或建模，其平均体验质量奖励表现比现有技术提高了 21.4%。

Sep, 2019

大都会中的异构 360 度视频：差异化强化学习除法

该论文提出了一个新颖的服务质量模型，用于具有不同帧率和晕动感要求的异构 360 度视频。我们使用自设计的差异化深度强化学习算法，采用帧槽结构和逐帧优化的方法进行研究。我们设计了两种结构 SIDO 和 MIDO，在这种异构场景中进行了广泛的实验以证明其有效性。

Aug, 2023

适应视口的 360 度可导航视频传递

本文介绍了一种针对头戴显示器的多视点自适应 360 度视频流系统，实现了在提供沉浸式体验的同时降低带宽的浪费。研究表明铰接映射的布局是比较适合这种技术的。

Sep, 2016

全景视觉 Transformer 用于 360 度视频显著性检测

本文提出了一种名为 Panoramic Vision Transformer（PAVER）的新框架，能够使用 Vision Transformer 结合可变形卷积从 360 度视频的局部特征中学习视觉显著性，从而在 Wild360 基准测试上显著优于其他先进模型，无需监督或辅助信息。

Sep, 2022

Pano：通过更好地理解质量感知来优化 360° 视频流传输

本文提出了一种名为 Pano 的 360 度视频流系统，它利用了 360 度视频的独特因素，包括用户视角的移动速度、视频亮度的变化和视角周围可视物体景深的差异，提出了一种变大小的铺砖方案以在视觉效果和视频编码效率之间取得平衡，以及一种最大化 360 度视频用户感知质量的新的质量自适应逻辑，通过用户研究和跟踪分析的评估表明，相比现有技术，Pano 可以节省 41-46％的带宽，同时不会降低感知质量，或者可以提高感知质量 25％-142％而不会增加带宽使用。

Nov, 2019

视频时序建模的双向多速率重建

本研究提出一种基于未整理视频的无监督时间建模方法，使用多速率视觉循环模型对视频的每一帧进行编码，通过过去和未来相邻的视频片段作为时间上下文，重构两个时间转换以反映不同视图中的时间信息。将该方法应用于复杂事件检测和视频字幕生成中，其在 MEDTest-13 数据集上相对提高了 10.4％，在 YouTube2Text 数据集中的表现达到了最佳水平。

Nov, 2016