通过转码时间预测和预选,实现高质量的实时视频流传输
直接预测每个预设比特率的最佳转码分辨率以实现高效比特率阶梯构建。采用时间注意力门控循环网络来捕捉时空特征,并将转码分辨率预测作为一个多任务分类问题。我们证明了通过此方法可以有效地确定内容优化的比特率阶梯,且不需要任何预编码。我们的方法近似于地面实况比特率 - 分辨率对,Bjøntegaard Delta 率损失为 1.21%,并且明显优于现有的固定阶梯。
Jan, 2024
通过我们提出的参数化失真率(R-D)转码模型,我们可以在不需要对视频进行编码的情况下准确预测不同速率的转码失真,并通过转尺寸实现视觉质量的改进。此外,我们还利用该模型确定了摄入视频的近似无损和接近零斜率的比特率范围,从而在引入几乎不可见的质量损失的同时调整转码目标比特率。实验结果证明了我们的模型在视频转码率失真预测方面的有效性。
Apr, 2024
Mobile streaming video is often affected by the unstable bandwidth of modern wireless networks resulting in playback interruptions; this paper proposes a machine learning framework called Video ATLAS, which combines several quality-related features to predict users' quality of experience and provides improved performance over existing metrics while generalizing well on different datasets, enabling cost-effective adaptive network strategies.
Mar, 2017
基于实时深度学习的 H.264 控制器通过动态估算最优的编码器参数来维持视频质量,并在最小化压缩视频的平均比特率的同时实现高达 2.5 倍的带宽使用改善,且非符合概率低于 10^-2。
Nov, 2023
该研究提出了基于置信度的预测质量适应模块以及参考质量适应模块,以提高视频编码的预测和参考质量适应能力,并减少重构错误的传播。实验结果表明,在 RGB 和 YUV420 颜色空间中,我们的编码器比 H.266/VVC 参考软件和以前最先进的学习视频编码器获得更高的压缩性能。
Jun, 2024
提出了一种实时基于深度学习的 H.264 控制器,利用即时的信道质量数据和视频块动态估计最优的编码器参数,以保持编码视频的比特率略低于可用信道比特率,验证了该方法在视频质量上相较于最先进的自适应比特率视频流媒体有 10-20 dB 的改进,平均数据包丢失率低至 0.002。
Sep, 2023
利用迁移学习和时空特征,提出了一种有效的比特率阶梯预测方法,该方法能够在保持高质量视频的同时减少编码复杂度。通过在已训练的深度神经网络中使用特征图来预测比特率 - 质量行为,并通过预测顶部质量的最小比特率来提高最高质量的效率。该方法在 102 个视频场景上的测试结果表明,相对于暴力搜索方法,编码复杂度减少了 94.1%,BD-Rate 费用仅为 1.71%。此外,还通过四个网络和消融研究对迁移学习进行了深入研究。
Jan, 2024
基于图像动画的视频压缩方法,通过使用预测编码方案和图像动画作为预测器,以及针对实际目标帧的残差编码,有效地提高压缩率,与 HEVC 和 VVC 相比可获得超过 70% 和 30% 的比特率增益。
Jul, 2023
我们提出了一种 ML-based 的视频编码算法,通过评估不同分辨率和基于商业编解码器的标准视频压缩测试集发现,在低延迟模式下相对于 HEVC/H.265, AVC/H.264 和 VP9,我们的算法通常产生更小的代码。并且,我们的方法不会出现图块失真和像素化,可以产生更加视觉上令人愉悦的视频。
Nov, 2018