通用学习视频压缩
本研究提出了多模式视频压缩(MMVC)框架,通过深度学习和区块式模式集成选择最佳模式来适应各种动作模式和熵模型,包括 ConvLSTM,光流条件化特征域预测和特征传播,通过对空间块进行时间预测,以最大程度地减少数据的冗余和失真。实验表明,与最先进的视频压缩方案和标准编解码器相比,本方法在 PSNR 和 MS-SSIM 度量方面获得了更好或具有竞争力的结果。
Apr, 2023
Versatile video coding framework is proposed to learn compact representations for both human and machine vision, featuring a feature-based compression loop and cross-domain motion encoder/decoder, with evaluation results showing its compression efficiency on different video tasks with benchmark datasets.
Jun, 2023
我们提出了一种 ML-based 的视频编码算法,通过评估不同分辨率和基于商业编解码器的标准视频压缩测试集发现,在低延迟模式下相对于 HEVC/H.265, AVC/H.264 和 VP9,我们的算法通常产生更小的代码。并且,我们的方法不会出现图块失真和像素化,可以产生更加视觉上令人愉悦的视频。
Nov, 2018
该研究提出了一种端到端的学习视频压缩方案,使用多个参考帧来提高数据压缩效率,其中包括运动向量 (MV) 场的计算、残差和 MV 的深度自编码压缩,以及一个利用多个参考帧的 MV 细化网络和残差细化网络。
Apr, 2020
空间 - 时间变换器 (STT-VC) 是通过整合放松可变形变换器 (RDT)、多粒度预测 (MGP) 模块和基于空间特征分布先验的变换器 (SFD-T) 来提高学习视频压缩 (LVC) 的性能。实验结果表明,该方法相比于现有技术在 BD-Rate 节省上获得了 13.5% 的最佳结果。
Sep, 2023
本文介绍了一种在特征空间内实现运动估计、压缩、补偿和残差压缩的视频编码网络,通过多帧特征融合模块,并利用非局部注意力机制融合多帧参考特征提高帧重建效果,该网络在四个基准数据集上达到了最先进的性能。
May, 2021
通过提出几种新颖的方法,如专门用于机器学习的高效骨干网络和基于优化的流预测方案,我们的方法 ELF-VC 在视频压缩的低延迟模式下(只有 I 帧和 P 帧)具有更高的性能和更好的效率,与主流视频标准(如 H.264 、 H.265 、 AV1)和所有机器学习编解码器相比,在比特率范围内具有很好的 PSNR 、 MS-SSIM 、 VMAF 等指标,而且至少比所有机器学习编解码器都快 5 倍,并有更少的参数。
Apr, 2021
本文提出了 AlphaVC 的压缩算法,采用了几种新的技术来有效地提高压缩性能,包括引入条件 I 帧、像素到特征的运动预测方法和基于概率的熵跳过方法。AlphaVC 在所有常见测试数据集上的 PSNR 和 MSSSIM 指标上均超过了最新的压缩标准 VVC,并且具有非常快的编码和解码速度。
Jul, 2022
本文介绍了改进和创新改进的内容,提出了一种优化的分层双向视频压缩技术,结合运动估计和预测模块,压缩出改进的残差运动矢量,同时应用了图像压缩中提出的增益单元进行灵活速率视频压缩,该压缩技术具备真正的灵活性并且能够以多个速率 - 失真操作点进行操作。我们展示实验结果证实,该方法能够取得学习视频编码方面先前所有的艺术表现之上,具备最先进的速率失真性能。
Jun, 2022
本文提出使用一阶光流和二阶流预测来利用时间相关性进行视频编码,采用一阶段学习方法将流作为连续帧的量化特征包装,然后利用联合空间 - 时间先验条件下的适应性上下文熵编码,并使用 ConvLSTM 逐层嵌入联合先验,分别从自回归空间邻居、共位置超元素和时间邻居中获取。本文的实验评估表明,该方法在常用的测试序列上取得了最先进的表现结果。
Dec, 2019