任意尺度调整网络视频压缩
网络速度限制会导致视频的质量下降并出现压缩伪影;本文提出了一种基于轻量级卷积神经网络(CNN)的算法,能够同时降低伪影并进行超分辨率重建,通过提升特征提取层和设计训练数据集来实现;通过对使用可变比特率编码进行压缩的测试视频评估,输出视频质量较传统插值方法(如 Lanczos 或 Bicubic)提高了 4-6 个 VMAF 分数。
Jan, 2024
本文针对视频重缩放问题展开研究,提出了基于耦合层可逆神经网络的联合优化方法,LSTM-VRN 利用时间信息进行低分辨率视频上的高频信息显式预测,MIMO-VRN 提出了一种同时降低和提高视频帧组的新策略。与基于图像的可逆模型相比,这两种方法在定量和定性结果上都优于它们,同时也比没有联合优化的视频重缩放方法表现得更好。据我们所知,这是首次尝试联合优化视频降低和提高。
Mar, 2021
通过训练长序列帧、分层编码的速率分配和内容适应推理,在常见测试条件下,我们提出了一种用于随机存取的端到端学习视频编解码器,其在某些视频类别上取得了与 VVC 相当的 YUV-PSNR BD-Rate 结果,并在几乎所有测试集上优于 VVC,在 VMAF BD-Rate 方面超过了开源的低延迟和随机访问端到端解决方案的平均水平。
Jun, 2024
本文提出了一种基于卷积 LSTM 神经网络的可变比率图像压缩框架和架构,可以用于压缩缩略图以改善移动设备用户的体验,经测试在 32×32 的缩略图上,与 JPEG、JPEG2000 和 WebP 相比,我们的方法在相同存储大小下提供更好的视觉质量。
Nov, 2015
在 Facebook 视频流平台,我们评估最新提出的基于 RL 的自适应比特率算法,采用可扩展的神经网络架构设计,利用贝叶斯优化进行奖励塑形,优化用户体验目标,以应对网络环境的随机性方差。在全球范围内超过 3000 万次视频流会话中,我们的 RL 方法优于现有的人工设计的算法。
Aug, 2020
通过引入新的混合自回归模型(MARM)和综合网络来显著减少当前 INR 编解码器的解码时间,并提高重建质量,该方法在保持图片质量的同时显著提高计算效率。
Jan, 2024
传统编解码器的自适应比特率 (ABR) 一旦做出决策后无法进一步修改,且选择的比特率可能过于保守或过于激进,而神经网络表示法 (NeRV) 可以将视频内容嵌入神经网络权重,实现不完整模型下的视频重建,为视频传输的自适应比特率策略的开发铺平了道路。本文提出了一种名为 Evolutional Video streaming Adaptation via Neural representation (EVAN) 的新框架,它能够通过使用软演员 - 评论家 (SAC) 强化学习自适应地传输 NeRV 模型,并采用渐进播放来避免重新缓冲,实验结果表明,EVAN 能够比现有的 ABR 方法减少 50% 的重新缓冲,并实现近 20% 的性能提升。
Apr, 2024
本文通过将自回归生成模型与有损视频压缩任务联系起来,提出了一种基于机器学习的视频压缩方法。大规模视频数据的全面评估表明,在视频数据的压缩比率及失真质量上,该方法优于传统的基于机器学习和基于传统技术的方法。
Oct, 2020
本文提出了一种新的方法 TSAN 用于解决因多次视频编码和转码而出现的视频压缩失真问题,该方法使用浅层编码视频作为中间标签以辅助实现自监督注意力训练,并使用邻域多帧信息进行转码视频恢复。实验结果表明,所提出的方法的性能优于以往技术。
Dec, 2021
通过我们提出的参数化失真率(R-D)转码模型,我们可以在不需要对视频进行编码的情况下准确预测不同速率的转码失真,并通过转尺寸实现视觉质量的改进。此外,我们还利用该模型确定了摄入视频的近似无损和接近零斜率的比特率范围,从而在引入几乎不可见的质量损失的同时调整转码目标比特率。实验结果证明了我们的模型在视频转码率失真预测方面的有效性。
Apr, 2024