Apr, 2021

ELF-VC: 高效学习的可灵活调节码率视频编码

PDF
TL;DR通过提出几种新颖的方法，如专门用于机器学习的高效骨干网络和基于优化的流预测方案，我们的方法 ELF-VC 在视频压缩的低延迟模式下（只有 I 帧和 P 帧）具有更高的性能和更好的效率，与主流视频标准（如 H.264 、 H.265 、 AV1）和所有机器学习编解码器相比，在比特率范围内具有很好的 PSNR 、 MS-SSIM 、 VMAF 等指标，而且至少比所有机器学习编解码器都快 5 倍，并有更少的参数。
learned video codecslearned video compressionlow-latency modeflexible-rate frameworkelf-vc
发现论文，激发创造
  • 学习型视频压缩

    我们提出了一种 ML-based 的视频编码算法，通过评估不同分辨率和基于商业编解码器的标准视频压缩测试集发现，在低延迟模式下相对于 HEVC/H.265, AVC/H.264 和 VP9，我们的算法通常产生更小的代码。并且，我们的方法不会出现图块失真和像素化，可以产生更加视觉上令人愉悦的视频。

    Nov, 2018

  • AlphaVC：高性能和高效的学习型视频压缩

    本文提出了 AlphaVC 的压缩算法，采用了几种新的技术来有效地提高压缩性能，包括引入条件 I 帧、像素到特征的运动预测方法和基于概率的熵跳过方法。AlphaVC 在所有常见测试数据集上的 PSNR 和 MSSSIM 指标上均超过了最新的压缩标准 VVC，并且具有非常快的编码和解码速度。

    Jul, 2022

  • 长视频序列的分层 B 帧视频编码

    通过训练长序列帧、分层编码的速率分配和内容适应推理，在常见测试条件下，我们提出了一种用于随机存取的端到端学习视频编解码器，其在某些视频类别上取得了与 VVC 相当的 YUV-PSNR BD-Rate 结果，并在几乎所有测试集上优于 VVC，在 VMAF BD-Rate 方面超过了开源的低延迟和随机访问端到端解决方案的平均水平。

    Jun, 2024

  • 通用学习视频压缩

    本文提出了一种多功能的学习视频压缩（VLVC）框架，使用一种模型支持所有可能的预测模式，包括运动补偿模块和流预测模块，可大大减少体素流的传输成本，并在各种情况下支持多功能压缩。实验结果表明，VLVC 不仅支持多功能压缩，还是首个在 MS-SSIM 方面优于最新 VVC/H.266 标准参考软件的端到端学习视频压缩方法。

    Nov, 2021

  • LVVC：用于高效人机视觉的学习通用视频编码框架

    Versatile video coding framework is proposed to learn compact representations for both human and machine vision, featuring a feature-based compression loop and cross-domain motion encoder/decoder, with evaluation results showing its compression efficiency on different video tasks with benchmark datasets.

    Jun, 2023

  • NN-VVC：通过自我监督学习的图像编码来增强通用视频编码能力

    本研究提出了一种名为 NN-VVC 的混合编解码器，结合了 E2E-learned 图像编解码器和传统视频编解码器 (CVC)，在图像和视频编码领域为机器实现高性能。实验证明，该系统在多个数据集和机器视觉任务上较 VVC 实现了高达 - 43.20% 和 - 26.8% 的 Bjøntegaard Delta 速率减小。据我们所知，这是第一篇在多个数据集和多个机器视觉任务上展示了优于 VVC 的混合视频编解码器的研究论文。

    Jan, 2024

  • 灵活学习视频压缩的有条件编码

    本文提出了一种新的端到端学习的视频编码框架，将图像压缩通过条件编码进行泛化，允许处理同一编码器的帧内和帧间信息，并通过最小化速率失真成本进行训练，无需预训练或代理损失，其灵活性在三种编码配置下得到评估（全帧内、低延迟 P 和随机访问），并且表现出与 HEVC 视频编解码器一样具有竞争性的性能。

    Apr, 2021

  • 具有运动精炼和逐帧比特分配的灵活学习分层双向视频压缩

    本文介绍了改进和创新改进的内容，提出了一种优化的分层双向视频压缩技术，结合运动估计和预测模块，压缩出改进的残差运动矢量，同时应用了图像压缩中提出的增益单元进行灵活速率视频压缩，该压缩技术具备真正的灵活性并且能够以多个速率 - 失真操作点进行操作。我们展示实验结果证实，该方法能够取得学习视频编码方面先前所有的艺术表现之上，具备最先进的速率失真性能。

    Jun, 2022

  • 高视觉保真度学习视频压缩

    通过设计自信度基于的特征重建方法和周期性补偿损失，本文提出了一种新颖的高视觉保真度学习视频压缩框架 (HVFVC)，以解决学习视频压缩中的重建问题和优化缺陷，实现了出色的感知质量，并仅需占最新 VVC 标准的 50% 比特率。

    Oct, 2023

  • 端到端速率失真优化的学习式分层双向视频压缩

    本研究提出了一种基于学习的分层双向视频编解码器，结合分层运动预测和端到端优化，实现了目前为止在 PSNR 和 MS-SSIM 上报告的学习视频压缩方案的最佳 R-D 结果，相对于传统视频编解码器，在 PSNR 和 MS-SSIM 以及 HM16.23 参考软件的 MS-SSIM 上性能均优于 x265 和 SVT-HEVC 编码器的 R-D 性能。

    Dec, 2021