Jun, 2024

长视频序列的分层 B 帧视频编码

PDF
TL;DR通过训练长序列帧、分层编码的速率分配和内容适应推理，在常见测试条件下，我们提出了一种用于随机存取的端到端学习视频编解码器，其在某些视频类别上取得了与 VVC 相当的 YUV-PSNR BD-Rate 结果，并在几乎所有测试集上优于 VVC，在 VMAF BD-Rate 方面超过了开源的低延迟和随机访问端到端解决方案的平均水平。
learned video compressionrandom accessend-to-end codecrate allocationvmaf bd-rate
发现论文，激发创造
  • AlphaVC：高性能和高效的学习型视频压缩

    本文提出了 AlphaVC 的压缩算法，采用了几种新的技术来有效地提高压缩性能，包括引入条件 I 帧、像素到特征的运动预测方法和基于概率的熵跳过方法。AlphaVC 在所有常见测试数据集上的 PSNR 和 MSSSIM 指标上均超过了最新的压缩标准 VVC，并且具有非常快的编码和解码速度。

    Jul, 2022

  • 端到端速率失真优化的学习式分层双向视频压缩

    本研究提出了一种基于学习的分层双向视频编解码器，结合分层运动预测和端到端优化，实现了目前为止在 PSNR 和 MS-SSIM 上报告的学习视频压缩方案的最佳 R-D 结果，相对于传统视频编解码器，在 PSNR 和 MS-SSIM 以及 HM16.23 参考软件的 MS-SSIM 上性能均优于 x265 和 SVT-HEVC 编码器的 R-D 性能。

    Dec, 2021

  • ELF-VC: 高效学习的可灵活调节码率视频编码

    通过提出几种新颖的方法，如专门用于机器学习的高效骨干网络和基于优化的流预测方案，我们的方法 ELF-VC 在视频压缩的低延迟模式下（只有 I 帧和 P 帧）具有更高的性能和更好的效率，与主流视频标准（如 H.264 、 H.265 、 AV1）和所有机器学习编解码器相比，在比特率范围内具有很好的 PSNR 、 MS-SSIM 、 VMAF 等指标，而且至少比所有机器学习编解码器都快 5 倍，并有更少的参数。

    Apr, 2021

  • 学习型视频压缩

    我们提出了一种 ML-based 的视频编码算法，通过评估不同分辨率和基于商业编解码器的标准视频压缩测试集发现，在低延迟模式下相对于 HEVC/H.265, AVC/H.264 和 VP9，我们的算法通常产生更小的代码。并且，我们的方法不会出现图块失真和像素化，可以产生更加视觉上令人愉悦的视频。

    Nov, 2018

  • NN-VVC：通过自我监督学习的图像编码来增强通用视频编码能力

    本研究提出了一种名为 NN-VVC 的混合编解码器，结合了 E2E-learned 图像编解码器和传统视频编解码器 (CVC)，在图像和视频编码领域为机器实现高性能。实验证明，该系统在多个数据集和机器视觉任务上较 VVC 实现了高达 - 43.20% 和 - 26.8% 的 Bjøntegaard Delta 速率减小。据我们所知，这是第一篇在多个数据集和多个机器视觉任务上展示了优于 VVC 的混合视频编解码器的研究论文。

    Jan, 2024

  • 具有时间分层自适应分层 B 帧编码的神经视频压缩

    我们提出了一种利用分层 B 帧编码的 NVC 模型，并结合时间层自适应优化的方法，该模型在给定基线模型的基础上获得了印象深刻的 BD 速率提升，解决了处理复杂或大动态序列带来的挑战。

    Aug, 2023

  • 高视觉保真度学习视频压缩

    通过设计自信度基于的特征重建方法和周期性补偿损失，本文提出了一种新颖的高视觉保真度学习视频压缩框架 (HVFVC)，以解决学习视频压缩中的重建问题和优化缺陷，实现了出色的感知质量，并仅需占最新 VVC 标准的 50% 比特率。

    Oct, 2023

  • 分层质量与循环增强的视频压缩学习

    本文提出了一种分层学习视频压缩（HLVC）方法，其具有三个分层质量层和一种重复增强网络。我们通过一种图像压缩方法压缩第一层帧，并使用这些帧作为参考来压缩相对高质量的第二层。然后，使用提出的单运动深度压缩（SMDC）网络压缩具有最低质量的第三层。在我们的 HLVC 方法中，分层质量有助于编解码效率，并且最终结果在 PSNR 和 MS-SSIM 方面优于 x265 的 “低延迟 P（LDP）非常快” 模式。

    Mar, 2020

  • 利用多尺度运动补偿和时空上下文模型的神经视频编码

    本文提出了一种基于深度神经网络编码的新方法。通过利用多尺度的运动补偿网络进行大范围运动的估计和补偿，同时采用自适应空时上下文模型进行高效熵编码，采用非局部注意力模块进行特征聚合和激活，通过对多模块的优化和多帧训练策略进行时间误差的最小化，最后将其与其他方法进行比较，证明了在流行的测试序列中，在 PSNR 和 MS-SSIM 失真度量方面均取得了一致的优异性能。

    Jul, 2020

  • 通用学习视频压缩

    本文提出了一种多功能的学习视频压缩（VLVC）框架，使用一种模型支持所有可能的预测模式，包括运动补偿模块和流预测模块，可大大减少体素流的传输成本，并在各种情况下支持多功能压缩。实验结果表明，VLVC 不仅支持多功能压缩，还是首个在 MS-SSIM 方面优于最新 VVC/H.266 标准参考软件的端到端学习视频压缩方法。

    Nov, 2021