Dec, 2023

基于轻量级卷积神经网络的 VVC 帧间分割加速

PDF
TL;DR本文提出了一种基于卷积神经网络（CNN）的方法来加速 VVC 中的分区，该方法在编码树单元（CTU）级别操作，将每个 CTU 分割成 8x8 个固定网格块，每个网格中的单元格与该区域内的分区深度相关联，带有轻量级的网络用于预测此网格，通过限制四进制树（QT）分割搜索并避免不太可能选中的分区来达到加速的效果。实验证明，该方法在 VVC Test Model (VTM) 10 的 RandomAccess Group Of Picture 32（RAGOP32）模式中，可以实现从 17% 到 30% 的加速，以及以 0.37% 到 1.18% 的 BD 率增加的合理效率下降。
发现论文，激发创造
  • 基于 CNN 的 VVC 快速帧间分区动态路径预测

    提出了一种基于卷积神经网络（CNN）的方法，通过预测 VVC 中的最佳分区路径来加速分区过程。在实验中，该方法在 BD-rate 方面取得了 0.44％至 4.59％的效率损失范围内，同时加速范围从 16.5％到 60.2％，超过了其他最先进的解决方案，并且是该领域中最轻量级的方法之一。

    Oct, 2023

  • 利用分区屏蔽卷积神经网络增强 HEVC 压缩视频

    本文提出了一种基于分区蒙版卷积神经网络 (CNN) 的方法，通过利用编码器生成的分区信息指导质量增强，从而实现了对最先进的视频编码标准高效视频编码 (HECV) 的压缩视频增强。实验结果表明，该方法在基准序列上的 BD 率节省达到 9.76％以上，达到了最先进的性能水平。

    May, 2018

  • 减少 HEVC 编码复杂度的深度学习方法

    本研究提出了一种基于深度学习的方法，用于预测视频编码中的 CU 分区，以降低 HEVC 的复杂度，并在实验中取得了优于现有方法的效果。

    Sep, 2017

  • 基于物体分割辅助的通用视频编码帧间预测

    通过使用先进技术对参考帧中的对象进行分割并将分割结果作为不同区域的任意形状分区，我们提出了一种对象分割辅助的帧间预测方法。通过该方法，可以实现更高的预测准确性和更高效的运动向量编码，同时在运动估计和分区估计的联合率失真优化中考虑分割结果，从而更准确地得出了不同区域的运动向量和分区。在实验中，我们发现该方法在常见测试序列中可以分别达到 1.98％，1.14％和 0.79％的 BD 速率降低，对应平均的 BD 速率降低率分别为 0.82％，0.49％和 0.37％，在低延迟 P、低延迟 B 和随机存取配置下。

    Mar, 2024

  • NN-VVC：通过自我监督学习的图像编码来增强通用视频编码能力

    本研究提出了一种名为 NN-VVC 的混合编解码器，结合了 E2E-learned 图像编解码器和传统视频编解码器 (CVC)，在图像和视频编码领域为机器实现高性能。实验证明，该系统在多个数据集和机器视觉任务上较 VVC 实现了高达 - 43.20% 和 - 26.8% 的 Bjøntegaard Delta 速率减小。据我们所知，这是第一篇在多个数据集和多个机器视觉任务上展示了优于 VVC 的混合视频编解码器的研究论文。

    Jan, 2024

  • 长视频序列的分层 B 帧视频编码

    通过训练长序列帧、分层编码的速率分配和内容适应推理，在常见测试条件下，我们提出了一种用于随机存取的端到端学习视频编解码器，其在某些视频类别上取得了与 VVC 相当的 YUV-PSNR BD-Rate 结果，并在几乎所有测试集上优于 VVC，在 VMAF BD-Rate 方面超过了开源的低延迟和随机访问端到端解决方案的平均水平。

    Jun, 2024

  • HEVC 基础编码中的卷积神经网络后处理方法

    本文提出了一种基于卷积神经网络的后处理算法用于高效视频编码，相较于 HEVC 基线平均比特率减少了 4.6％，并在实现更高的比特率降低，更低的内存成本和更快的计算速度方面优于以前研究的网络。

    Aug, 2016

  • 面向 HEVC 后处理的分区感知自适应切换神经网络

    本文提出了一种基于神经网络的视频编码标准 HEVC 的后处理方法，其中包括使用编码器生成的分区信息辅助后处理的分区感知的卷积神经网络（CNN），以及由多个独立的 CNN 组成的自适应切换神经网络（ASN），并提出了迭代训练的过程。实验结果表明，我们提出的方法有效地减少了 HEVC 引入的伪影。

    Dec, 2019

  • 利用多尺度运动补偿和时空上下文模型的神经视频编码

    本文提出了一种基于深度神经网络编码的新方法。通过利用多尺度的运动补偿网络进行大范围运动的估计和补偿，同时采用自适应空时上下文模型进行高效熵编码，采用非局部注意力模块进行特征聚合和激活，通过对多模块的优化和多帧训练策略进行时间误差的最小化，最后将其与其他方法进行比较，证明了在流行的测试序列中，在 PSNR 和 MS-SSIM 失真度量方面均取得了一致的优异性能。

    Jul, 2020

  • 采用对比度减弱的物体检测 VVC 扩展方案

    本文介绍了一种基于 Versatile Video Coding 的视频编码方案，用于物体检测，通过减小图像尺寸和对比度的方式实现了更好的编码性能和物体检测精度。

    May, 2023