CVPRMar, 2020

分层质量与循环增强的视频压缩学习

PDF
TL;DR本文提出了一种分层学习视频压缩（HLVC）方法，其具有三个分层质量层和一种重复增强网络。我们通过一种图像压缩方法压缩第一层帧，并使用这些帧作为参考来压缩相对高质量的第二层。然后，使用提出的单运动深度压缩（SMDC）网络压缩具有最低质量的第三层。在我们的 HLVC 方法中，分层质量有助于编解码效率，并且最终结果在 PSNR 和 MS-SSIM 方面优于 x265 的 “低延迟 P（LDP）非常快” 模式。
hierarchical learned video compressionbi-directional deep compressionsingle motion deep compressionweighted recurrent quality enhancementdeep video compression methods
发现论文，激发创造
  • 感知学习视频压缩与循环条件 GAN

    本文提出了一种适用于逐帧视频的感知式学习视频压缩 (Pervetual Learned Video Compression，PLVC) 方法，并首次提出了一种递归条件判别器，该方法可以在保留视频画质和压缩率同时，满足时域上的一致性，而且其性能远远好于现有的学习视频压缩算法及现有标准 HEVC HM 16.20。

    Sep, 2021

  • 端到端速率失真优化的学习式分层双向视频压缩

    本研究提出了一种基于学习的分层双向视频编解码器，结合分层运动预测和端到端优化，实现了目前为止在 PSNR 和 MS-SSIM 上报告的学习视频压缩方案的最佳 R-D 结果，相对于传统视频编解码器，在 PSNR 和 MS-SSIM 以及 HM16.23 参考软件的 MS-SSIM 上性能均优于 x265 和 SVT-HEVC 编码器的 R-D 性能。

    Dec, 2021

  • 高视觉保真度学习视频压缩

    通过设计自信度基于的特征重建方法和周期性补偿损失，本文提出了一种新颖的高视觉保真度学习视频压缩框架 (HVFVC)，以解决学习视频压缩中的重建问题和优化缺陷，实现了出色的感知质量，并仅需占最新 VVC 标准的 50% 比特率。

    Oct, 2023

  • 具有时间分层自适应分层 B 帧编码的神经视频压缩

    我们提出了一种利用分层 B 帧编码的 NVC 模型，并结合时间层自适应优化的方法，该模型在给定基线模型的基础上获得了印象深刻的 BD 速率提升，解决了处理复杂或大动态序列带来的挑战。

    Aug, 2023

  • 利用视频编码知识进行深度视频增强

    本文提出了一种新的框架，利用视频压缩的低延迟配置和上下文自适应视频融合方法，提高 BasicVSR ++ 方法的质量，已在 NTIRE22 挑战中得到验证，并在定量指标和视觉质量方面与之前的方法相比均有所提高。

    Feb, 2023

  • 视频质量增强的压缩实现深度结构网络

    针对压缩视频的质量增强任务，提出了 Compression-Realize Deep Structural Network（CRDS）方法，利用经典压缩编码器结构和深度网络能力相结合的方式，引入了三种与压缩编解码器中三个主要过程相匹配的归纳偏差。通过构建预训练的潜在降级残差自编码器、精确的运动估计和残差提取以及分解质量增强为一系列简单的降噪子任务，实验证明该方法在 LDV 2.0 和 MFQE 2.0 等数据集上超越了现有模型。

    May, 2024

  • 长视频序列的分层 B 帧视频编码

    通过训练长序列帧、分层编码的速率分配和内容适应推理，在常见测试条件下，我们提出了一种用于随机存取的端到端学习视频编解码器，其在某些视频类别上取得了与 VVC 相当的 YUV-PSNR BD-Rate 结果，并在几乎所有测试集上优于 VVC，在 VMAF BD-Rate 方面超过了开源的低延迟和随机访问端到端解决方案的平均水平。

    Jun, 2024

  • 学习型视频压缩

    我们提出了一种 ML-based 的视频编码算法，通过评估不同分辨率和基于商业编解码器的标准视频压缩测试集发现，在低延迟模式下相对于 HEVC/H.265, AVC/H.264 和 VP9，我们的算法通常产生更小的代码。并且，我们的方法不会出现图块失真和像素化，可以产生更加视觉上令人愉悦的视频。

    Nov, 2018

  • 使用循环自编码器和循环概率模型进行视频压缩学习

    本文提出了一种采用循环自编码器（RAE）和循环概率模型（RPM）的递归学习视频压缩（RLVC）方法，以充分利用视频帧之间的时间相关性，实验结果表明，该方法在 PSNR 和 MS-SSIM 方面都达到了最先进的学习视频压缩性能，优于默认的 x265 低延迟 P（LDP）设置和 SSIM-tuned x265 等。

    Jun, 2020

  • 提升 HEVC 压缩视频的质量

    本研究提出了一种 QE-CNN 方法来增强 HEVC 视频的质量，该方法通过学习 QE-CNN-I 和 QE-CNN-P 模型分别降低 I 和 P 帧的失真，同时进一步提出了 TQEO 方案来控制 QE-CNN 的计算时间以满足时限要求并最大化质量增强效果。

    Sep, 2017