Oct, 2023

BONES: 近乎最优的神经增强视频流传输

PDF
TL;DR通过深度学习改善视频质量的神经增强对视频流媒体进行了探索，并引入了一种名为 BONES 的控制算法，以最大化用户体验的质量。实验证明相比最先进的算法，BONES 能够提高用户的体验质量（QoE）4％至 13％。
video streamingneural enhancementneural-enhanced streaming (nes)bonesquality of experience (qoe)
发现论文，激发创造
  • 移动设备上的实时神经视频恢复与增强

    移动设备上的视频流媒体体验优化是一个挑战，本文提出了一种基于深度学习的实时增强方法，包括视频帧恢复、超分辨率算法和接收端增强感知的视频比特率自适应算法，评估结果显示该方法能够提高视频流媒体系统的实时增强效果，并显著提高 24% 至 82% 的视频体验质量。

    Jul, 2023

  • 一种面向网络目标的端到端集成计算和通信架构：对现场监控视频的视角

    本研究提出一种基于情景感知的实时流式传输方案，以实时识别重要事件和降低发射功率。该方案主要利用少量隐藏层的小型神经网络在源端对特定情景下的帧进行高重要性分配，并将高重要性的帧与一定信噪比的低重要性帧同时流式传输，在接收端进行深度神经网络分析提取准确的情景并节约约 38.5% 的能源。

    Apr, 2022

  • 基于深度学习的无线网络实时直播流速控制

    提出了一种实时基于深度学习的 H.264 控制器，利用即时的信道质量数据和视频块动态估计最优的编码器参数，以保持编码视频的比特率略低于可用信道比特率，验证了该方法在视频质量上相较于最先进的自适应比特率视频流媒体有 10-20 dB 的改进，平均数据包丢失率低至 0.002。

    Sep, 2023

  • 基于贝叶斯抽样的神经集合搜索

    本文介绍一种名为 NESBS 的新型神经集成搜索算法，可从 NAS 搜索空间中有效且高效地选择表现优秀的神经网络集成，具有在实践中优于 NAS 算法的性能表现，而且与同类算法相比成本相当。

    Sep, 2021

  • NU-Class Net：一种基于深度学习的视频质量增强新方法

    该论文介绍了 NU-Class Net，一种创新的深度学习模型，用于减轻由有损压缩编解码引起的压缩伪影，从而显著提升低比特率视频的感知质量。

    Jan, 2024

  • 云游戏神经视频恢复

    本文提出了一种新的方法，通过游戏状态和神经网络技术来恢复云游戏中丢失或损坏的视频帧，以达到更好的游戏体验。

    Jul, 2023

  • 深度多模态软解码非常低比特率人脸视频

    本文提出了一种基于深度学习的多模态神经网络来去除讲述者视频的压缩伪影，这种方法可以显著提高冗余压缩下的视频质量。

    Aug, 2020

  • 基于深度学习的实时标准视频压缩质量控制技术在直播中的应用

    基于实时深度学习的 H.264 控制器通过动态估算最优的编码器参数来维持视频质量，并在最小化压缩视频的平均比特率的同时实现高达 2.5 倍的带宽使用改善，且非符合概率低于 10^-2。

    Nov, 2023

  • EVAN: 基于神经表示的视频流适应性进化

    传统编解码器的自适应比特率 (ABR) 一旦做出决策后无法进一步修改，且选择的比特率可能过于保守或过于激进，而神经网络表示法 (NeRV) 可以将视频内容嵌入神经网络权重，实现不完整模型下的视频重建，为视频传输的自适应比特率策略的开发铺平了道路。本文提出了一种名为 Evolutional Video streaming Adaptation via Neural representation (EVAN) 的新框架，它能够通过使用软演员 - 评论家 (SAC) 强化学习自适应地传输 NeRV 模型，并采用渐进播放来避免重新缓冲，实验结果表明，EVAN 能够比现有的 ABR 方法减少 50% 的重新缓冲，并实现近 20% 的性能提升。

    Apr, 2024

  • 利用视频编码知识进行深度视频增强

    本文提出了一种新的框架，利用视频压缩的低延迟配置和上下文自适应视频融合方法，提高 BasicVSR ++ 方法的质量，已在 NTIRE22 挑战中得到验证，并在定量指标和视觉质量方面与之前的方法相比均有所提高。

    Feb, 2023