基于空间分解和时间融合的基于学习的视频压缩的帧间预测
本文提出使用一阶光流和二阶流预测来利用时间相关性进行视频编码,采用一阶段学习方法将流作为连续帧的量化特征包装,然后利用联合空间 - 时间先验条件下的适应性上下文熵编码,并使用 ConvLSTM 逐层嵌入联合先验,分别从自回归空间邻居、共位置超元素和时间邻居中获取。本文的实验评估表明,该方法在常用的测试序列上取得了最先进的表现结果。
Dec, 2019
空间 - 时间变换器 (STT-VC) 是通过整合放松可变形变换器 (RDT)、多粒度预测 (MGP) 模块和基于空间特征分布先验的变换器 (SFD-T) 来提高学习视频压缩 (LVC) 的性能。实验结果表明,该方法相比于现有技术在 BD-Rate 节省上获得了 13.5% 的最佳结果。
Sep, 2023
本文提出了一种端到端的学习视频压缩方法,利用多尺度时序上下文优化压缩方法,在压缩方案的编解码模块中填充学习到的时序上下文,以丢弃并行运算麻烦的自回归熵模型,实现更实用的解码时间,并将该方案与 H.264、H.265 以及 H.266 的官方参考软件进行比较,在 PSNR 和 MS-SSIM 方面均实现了比官方软件更高的比特率节省。
Nov, 2021
该研究提出了一种新的时空迭代推理框架,用于联合建模复杂的多物体表示和帧间的显式时间依赖关系,在后验精化中利用 2D-LSTM 和时间条件推理和生成,以提高场景分解、分割和预测的能力,即使没有颜色信息也有高准确度。
Jun, 2020
通过使用先进技术对参考帧中的对象进行分割并将分割结果作为不同区域的任意形状分区,我们提出了一种对象分割辅助的帧间预测方法。通过该方法,可以实现更高的预测准确性和更高效的运动向量编码,同时在运动估计和分区估计的联合率失真优化中考虑分割结果,从而更准确地得出了不同区域的运动向量和分区。在实验中,我们发现该方法在常见测试序列中可以分别达到 1.98%,1.14%和 0.79%的 BD 速率降低,对应平均的 BD 速率降低率分别为 0.82%,0.49%和 0.37%,在低延迟 P、低延迟 B 和随机存取配置下。
Mar, 2024
本文提出了一种多功能的学习视频压缩(VLVC)框架,使用一种模型支持所有可能的预测模式,包括运动补偿模块和流预测模块,可大大减少体素流的传输成本,并在各种情况下支持多功能压缩。实验结果表明,VLVC 不仅支持多功能压缩,还是首个在 MS-SSIM 方面优于最新 VVC/H.266 标准参考软件的端到端学习视频压缩方法。
Nov, 2021
本文提出了一种新的加速视频推理的方法 —— 使用基于块运动向量和特征传播技术实现的快速特征传播技术以及基于周围帧传播得到的特征的特征插值技术,能够在保持精度的前提下,将图像分割的速度从单帧基线的 30ms 提高到每秒 20 帧,实现了几乎 6 倍的改进。
Mar, 2018
论文提出了一种基于深度学习的分布式视频编码架构,通过在解码器中使用有效的辅助信息生成模块,成功利用帧间相关性以提高压缩效率,同时,在编码速度相同的情况下,研究结果优于传统的分布式编码和基于 H.264 标准的压缩方法。
Mar, 2023
本文提出了一种深度帧内插网络,通过多域分层约束来优化其训练并生成额外的参考帧,从而在编码中去除视频中像素级位移的影响,实现在随机存取配置下比 HEVC 平均 6.1%和最多 11.0%的 BD-rate 节省。
May, 2019
本文提出基于多级小波分析的视频预测网络,以应对图像失真和时间不一致等现有预测模型所存在的问题,大量实验结果表明,本方法相较其他最先进的方法,具有更高的保真度和时间一致性。
Feb, 2020