端到端速率失真优化的学习式分层双向视频压缩
本文介绍了改进和创新改进的内容,提出了一种优化的分层双向视频压缩技术,结合运动估计和预测模块,压缩出改进的残差运动矢量,同时应用了图像压缩中提出的增益单元进行灵活速率视频压缩,该压缩技术具备真正的灵活性并且能够以多个速率 - 失真操作点进行操作。我们展示实验结果证实,该方法能够取得学习视频编码方面先前所有的艺术表现之上,具备最先进的速率失真性能。
Jun, 2022
本文提出了一种自适应运动补偿模型,通过多尺度形变对齐方案与多尺度条件编码结合,在运动内容自适应推理的基础上利用增益单元控制位分配,达到了学习视频编码的超越前沿水平的性能。
Jun, 2023
本文提出了一种基于深度学习模型的视频压缩方法,其中利用神经网络的非线性表征能力和学习基于光流估计获取运动信息并重构当前帧的方法,同时采用两个 auto-encoder 风格的神经网络来压缩相应的运动和残差信息以共同优化所有组件,并通过单一损失函数来一起考虑减少压缩比特数和提高解码视频质量之间的权衡,实验证明该方法在 PSNR 方面优于广泛使用的 H.264 视频编码标准,在 MS-SSIM 方面甚至与最新的标准 H.265 相当。
Nov, 2018
通过训练长序列帧、分层编码的速率分配和内容适应推理,在常见测试条件下,我们提出了一种用于随机存取的端到端学习视频编解码器,其在某些视频类别上取得了与 VVC 相当的 YUV-PSNR BD-Rate 结果,并在几乎所有测试集上优于 VVC,在 VMAF BD-Rate 方面超过了开源的低延迟和随机访问端到端解决方案的平均水平。
Jun, 2024
本文提出了一种分层学习视频压缩(HLVC)方法,其具有三个分层质量层和一种重复增强网络。我们通过一种图像压缩方法压缩第一层帧,并使用这些帧作为参考来压缩相对高质量的第二层。然后,使用提出的单运动深度压缩(SMDC)网络压缩具有最低质量的第三层。在我们的 HLVC 方法中,分层质量有助于编解码效率,并且最终结果在 PSNR 和 MS-SSIM 方面优于 x265 的 “低延迟 P(LDP)非常快” 模式。
Mar, 2020
我们提出了一种 ML-based 的视频编码算法,通过评估不同分辨率和基于商业编解码器的标准视频压缩测试集发现,在低延迟模式下相对于 HEVC/H.265, AVC/H.264 和 VP9,我们的算法通常产生更小的代码。并且,我们的方法不会出现图块失真和像素化,可以产生更加视觉上令人愉悦的视频。
Nov, 2018
本文提出了一种多功能的学习视频压缩(VLVC)框架,使用一种模型支持所有可能的预测模式,包括运动补偿模块和流预测模块,可大大减少体素流的传输成本,并在各种情况下支持多功能压缩。实验结果表明,VLVC 不仅支持多功能压缩,还是首个在 MS-SSIM 方面优于最新 VVC/H.266 标准参考软件的端到端学习视频压缩方法。
Nov, 2021
通过使用两个主要操作:视频帧插值和压缩,IBVC(插值驱动的 B 帧视频压缩)引入了一种无比特率的双向运动估计与补偿方法,避免了光流量化和额外的压缩失真,通过自适应选择具有插值多尺度依赖的有意义的上下文,减少重复比特率的使用,并通过提出条件的时空解码器消除位置错误和伪影,相较于相关最先进方法,IBVC 在 B 帧编码方面取得了显著的改进,同时与 H.266(VTM)的随机访问(RA)配置相比,我们的方法能节省比特率。
Sep, 2023
本文提出了 AlphaVC 的压缩算法,采用了几种新的技术来有效地提高压缩性能,包括引入条件 I 帧、像素到特征的运动预测方法和基于概率的熵跳过方法。AlphaVC 在所有常见测试数据集上的 PSNR 和 MSSSIM 指标上均超过了最新的压缩标准 VVC,并且具有非常快的编码和解码速度。
Jul, 2022