基于联合时空相关性探索的学习型视频压缩
我们提出了一种 ML-based 的视频编码算法,通过评估不同分辨率和基于商业编解码器的标准视频压缩测试集发现,在低延迟模式下相对于 HEVC/H.265, AVC/H.264 和 VP9,我们的算法通常产生更小的代码。并且,我们的方法不会出现图块失真和像素化,可以产生更加视觉上令人愉悦的视频。
Nov, 2018
本文提出了基于空间分解和时间融合的学习视频压缩的帧间预测方法,通过处理运动不一致性和遮挡现象,结合长短时时间上下文融合,提高了视频压缩的帧间预测准确性。实验证明,所提出的编码器在所有常见测试数据集上的 PSNR 和 MS-SSIM 上优于 H.266 / VVC 的参考软件。
Jan, 2024
本文提出了一种使用卷积自编码器进行图像压缩并将其推广至视频压缩的架构,通过在编码器和解码器的两个端口添加插值循环,将空时能量压缩实现到了图像和视频压缩上。作者还提出了一种在损失函数中添加基于空间能量压缩的惩罚项的方法,以实现更高的图像压缩性能,同时针对视频内容的动态特性选择合适的插值循环帧数,可以显著优于 MPEG-4 并与常用的 H.264 竞争。
Jun, 2019
本文提出了一种端到端的学习视频压缩方法,利用多尺度时序上下文优化压缩方法,在压缩方案的编解码模块中填充学习到的时序上下文,以丢弃并行运算麻烦的自回归熵模型,实现更实用的解码时间,并将该方案与 H.264、H.265 以及 H.266 的官方参考软件进行比较,在 PSNR 和 MS-SSIM 方面均实现了比官方软件更高的比特率节省。
Nov, 2021
本文提出了一种多功能的学习视频压缩(VLVC)框架,使用一种模型支持所有可能的预测模式,包括运动补偿模块和流预测模块,可大大减少体素流的传输成本,并在各种情况下支持多功能压缩。实验结果表明,VLVC 不仅支持多功能压缩,还是首个在 MS-SSIM 方面优于最新 VVC/H.266 标准参考软件的端到端学习视频压缩方法。
Nov, 2021
本文提出了一种强大的熵模型,能够高效地捕捉视频中的空间和时间依赖关系,使用潜在先验来减少时间冗余,使用双重空间先验来并行地减少空间冗余。此外,该熵模型还具有内容自适应量化机制,有助于编解码器实现平滑的速率调整,并通过动态位分配改善最终的速率失真性能。实验结果表明,使用该熵模型作为支撑,与最高压缩比配置下的 H.266(VTM)相比,我们的神经编解码器可以在 UVG 数据集上实现 18.2% 的比特率节省,这是神经视频编解码器发展的新里程碑。
Jul, 2022
本文提出了 PixelMotionCNN 的概念,并采用基于学习的框架进行视频压缩,该框架包括迭代分析 / 综合,二值化等组件,实验结果表明该方案与 H.264 编解码器具有相当的性能表现,为未来视频编码的进一步提高压缩效率和 功能提供了可能的新方向。
Apr, 2018
本篇论文提出一种噪声鲁棒特征表示的神经模型,其采用了一种空间通道量化机制来自适应地确定潜在位置的量化步长,以在视频恢复中过滤噪声并保留精华信息,实验表明,该方法在视频去噪方面具有显著的性能提升,且在视频去雨和去雾方面也取得了 SOTA 的结果。
Mar, 2022
提出一种新的框架以实现视频语义分割和光流估计的联合训练,通过联合训练利用视频中已标记和未标记的帧,使视频语义分割和光流估计更加稳健并在相应任务中表现优异。
Nov, 2019
本文提出了一种新的框架,利用视频压缩的低延迟配置和上下文自适应视频融合方法,提高 BasicVSR ++ 方法的质量,已在 NTIRE22 挑战中得到验证,并在定量指标和视觉质量方面与之前的方法相比均有所提高。
Feb, 2023