Jun, 2022

具有运动精炼和逐帧比特分配的灵活学习分层双向视频压缩

PDF
TL;DR本文介绍了改进和创新改进的内容，提出了一种优化的分层双向视频压缩技术，结合运动估计和预测模块，压缩出改进的残差运动矢量，同时应用了图像压缩中提出的增益单元进行灵活速率视频压缩，该压缩技术具备真正的灵活性并且能够以多个速率 - 失真操作点进行操作。我们展示实验结果证实，该方法能够取得学习视频编码方面先前所有的艺术表现之上，具备最先进的速率失真性能。
发现论文，激发创造
  • 多尺度可形变对齐和内容自适应推断用于灵活速率双向视频压缩

    本文提出了一种自适应运动补偿模型，通过多尺度形变对齐方案与多尺度条件编码结合，在运动内容自适应推理的基础上利用增益单元控制位分配，达到了学习视频编码的超越前沿水平的性能。

    Jun, 2023

  • 端到端速率失真优化的学习式分层双向视频压缩

    本研究提出了一种基于学习的分层双向视频编解码器，结合分层运动预测和端到端优化，实现了目前为止在 PSNR 和 MS-SSIM 上报告的学习视频压缩方案的最佳 R-D 结果，相对于传统视频编解码器，在 PSNR 和 MS-SSIM 以及 HM16.23 参考软件的 MS-SSIM 上性能均优于 x265 和 SVT-HEVC 编码器的 R-D 性能。

    Dec, 2021

  • 灵活学习视频压缩的有条件编码

    本文提出了一种新的端到端学习的视频编码框架，将图像压缩通过条件编码进行泛化，允许处理同一编码器的帧内和帧间信息，并通过最小化速率失真成本进行训练，无需预训练或代理损失，其灵活性在三种编码配置下得到评估（全帧内、低延迟 P 和随机访问），并且表现出与 HEVC 视频编解码器一样具有竞争性的性能。

    Apr, 2021

  • 学习型视频压缩

    我们提出了一种 ML-based 的视频编码算法，通过评估不同分辨率和基于商业编解码器的标准视频压缩测试集发现，在低延迟模式下相对于 HEVC/H.265, AVC/H.264 和 VP9，我们的算法通常产生更小的代码。并且，我们的方法不会出现图块失真和像素化，可以产生更加视觉上令人愉悦的视频。

    Nov, 2018

  • 通用学习视频压缩

    本文提出了一种多功能的学习视频压缩（VLVC）框架，使用一种模型支持所有可能的预测模式，包括运动补偿模块和流预测模块，可大大减少体素流的传输成本，并在各种情况下支持多功能压缩。实验结果表明，VLVC 不仅支持多功能压缩，还是首个在 MS-SSIM 方面优于最新 VVC/H.266 标准参考软件的端到端学习视频压缩方法。

    Nov, 2021

  • IBVC: 基于插值的 B 帧视频压缩

    通过使用两个主要操作：视频帧插值和压缩，IBVC（插值驱动的 B 帧视频压缩）引入了一种无比特率的双向运动估计与补偿方法，避免了光流量化和额外的压缩失真，通过自适应选择具有插值多尺度依赖的有意义的上下文，减少重复比特率的使用，并通过提出条件的时空解码器消除位置错误和伪影，相较于相关最先进方法，IBVC 在 B 帧编码方面取得了显著的改进，同时与 H.266（VTM）的随机访问（RA）配置相比，我们的方法能节省比特率。

    Sep, 2023

  • 利用视频编码知识进行深度视频增强

    本文提出了一种新的框架，利用视频压缩的低延迟配置和上下文自适应视频融合方法，提高 BasicVSR ++ 方法的质量，已在 NTIRE22 挑战中得到验证，并在定量指标和视觉质量方面与之前的方法相比均有所提高。

    Feb, 2023

  • ELF-VC: 高效学习的可灵活调节码率视频编码

    通过提出几种新颖的方法，如专门用于机器学习的高效骨干网络和基于优化的流预测方案，我们的方法 ELF-VC 在视频压缩的低延迟模式下（只有 I 帧和 P 帧）具有更高的性能和更好的效率，与主流视频标准（如 H.264 、 H.265 、 AV1）和所有机器学习编解码器相比，在比特率范围内具有很好的 PSNR 、 MS-SSIM 、 VMAF 等指标，而且至少比所有机器学习编解码器都快 5 倍，并有更少的参数。

    Apr, 2021

  • AlphaVC：高性能和高效的学习型视频压缩

    本文提出了 AlphaVC 的压缩算法，采用了几种新的技术来有效地提高压缩性能，包括引入条件 I 帧、像素到特征的运动预测方法和基于概率的熵跳过方法。AlphaVC 在所有常见测试数据集上的 PSNR 和 MSSSIM 指标上均超过了最新的压缩标准 VVC，并且具有非常快的编码和解码速度。

    Jul, 2022

  • 分层质量与循环增强的视频压缩学习

    本文提出了一种分层学习视频压缩（HLVC）方法，其具有三个分层质量层和一种重复增强网络。我们通过一种图像压缩方法压缩第一层帧，并使用这些帧作为参考来压缩相对高质量的第二层。然后，使用提出的单运动深度压缩（SMDC）网络压缩具有最低质量的第三层。在我们的 HLVC 方法中，分层质量有助于编解码效率，并且最终结果在 PSNR 和 MS-SSIM 方面优于 x265 的 “低延迟 P（LDP）非常快” 模式。

    Mar, 2020