Feb, 2024

超过 ECM 的神经网络增强视频编码框架

PDF
TL;DR本论文提出了一个混合视频压缩框架，展示了超越传统编码方法的基于深度学习的方法。所提出的混合框架基于 Enhanced Compression Model（ECM），它是 Versatile Video Coding（VVC）标准的进一步增强。我们使用精心设计的编码技术，包括块分割、基于深度学习的循环滤波以及启用块重要性映射（BIM），进一步提高编码性能。与 ECM-10.0 相比，在随机访问（RA）配置下，我们的方法分别达到了 Y、U 和 V 分量的 6.26、13.33 和 12.33 BD - 速率节省。
hybrid video compressiondeep learning-based approachesenhanced compression modelversatile video codingcoding performance
发现论文，激发创造
  • 端到端可学习的多尺度特征压缩技术适用于视觉编码器

    提出了一种新颖的多尺度特征压缩方法，并结合可学习的压缩器和多尺度特征融合网络实现端到端的优化，以及轻型编码器的设计。该方法在对象检测中取得了着眼的性能提升，并且在仅保留 0.002-0.003% 未压缩特征数据量的情况下，仍可以实现接近无损的性能。

    Jun, 2023

  • DVC：一种端到端的深度视频压缩框架

    本文提出了一种基于深度学习模型的视频压缩方法，其中利用神经网络的非线性表征能力和学习基于光流估计获取运动信息并重构当前帧的方法，同时采用两个 auto-encoder 风格的神经网络来压缩相应的运动和残差信息以共同优化所有组件，并通过单一损失函数来一起考虑减少压缩比特数和提高解码视频质量之间的权衡，实验证明该方法在 PSNR 方面优于广泛使用的 H.264 视频编码标准，在 MS-SSIM 方面甚至与最新的标准 H.265 相当。

    Nov, 2018

  • NN-VVC：通过自我监督学习的图像编码来增强通用视频编码能力

    本研究提出了一种名为 NN-VVC 的混合编解码器，结合了 E2E-learned 图像编解码器和传统视频编解码器 (CVC)，在图像和视频编码领域为机器实现高性能。实验证明，该系统在多个数据集和机器视觉任务上较 VVC 实现了高达 - 43.20% 和 - 26.8% 的 Bjøntegaard Delta 速率减小。据我们所知，这是第一篇在多个数据集和多个机器视觉任务上展示了优于 VVC 的混合视频编解码器的研究论文。

    Jan, 2024

  • 利用视频编码知识进行深度视频增强

    本文提出了一种新的框架，利用视频压缩的低延迟配置和上下文自适应视频融合方法，提高 BasicVSR ++ 方法的质量，已在 NTIRE22 挑战中得到验证，并在定量指标和视觉质量方面与之前的方法相比均有所提高。

    Feb, 2023

  • 利用多尺度运动补偿和时空上下文模型的神经视频编码

    本文提出了一种基于深度神经网络编码的新方法。通过利用多尺度的运动补偿网络进行大范围运动的估计和补偿，同时采用自适应空时上下文模型进行高效熵编码，采用非局部注意力模块进行特征聚合和激活，通过对多模块的优化和多帧训练策略进行时间误差的最小化，最后将其与其他方法进行比较，证明了在流行的测试序列中，在 PSNR 和 MS-SSIM 失真度量方面均取得了一致的优异性能。

    Jul, 2020

  • 可扩展的视频编码，为人类和机器而设计

    本文提出了一种可扩展的视频编码框架，该框架通过基础层比特流支持机器视觉（特别是物体检测）和增强层比特流支持人类视觉，并且结果表明，该框架在物体检测方面比最先进的视频编解码器节省 13-19％的比特率，同时在人类视觉任务的 MS-SSIM 方面保持有竞争力。

    Aug, 2022

  • 具有时间分层自适应分层 B 帧编码的神经视频压缩

    我们提出了一种利用分层 B 帧编码的 NVC 模型，并结合时间层自适应优化的方法，该模型在给定基线模型的基础上获得了印象深刻的 BD 速率提升，解决了处理复杂或大动态序列带来的挑战。

    Aug, 2023

  • 一种新兴的编码范式 VCM: 一种超越特征和信号的可扩展编码方法

    本文旨在研究视频编码方法中出现的新问题 VCM，提出基于预测模型和生成模型的高级压缩技术，同时可用于人类视觉和机器视觉，以实现可扩展的信号表示。通过条件生成网络学习稀疏运动模式来重建视频帧，同时对高水平视觉任务如动作识别非常有效。实验表明，我们的方法相对传统视频编解码器和高度压缩视频的最新技术有很大改进，为人类和机器视觉提供了有前途的编码信号范例。

    Jan, 2020

  • 高效深度图像压缩的统一端到端框架

    该研究提出了一种基于三种新技术的统一框架，包括通道关注模块、高斯混合模型和解码器侧增强模块，命名为 EDIC，可用于基于学习的图像压缩，并说明该方法优于当前所有先进的图像压缩方法，同时将解码速度提高了超过 150 倍。

    Feb, 2020

  • 机器视觉视频编码：协作压缩和智能分析的典范

    本文旨在探讨机器视觉中的视频编码新领域 ——Video Coding for Machines (VCM)，并系统地回顾了从 MPEG 标准化的独特视角出发的视频压缩和特征压缩的最新技术。最终提出了潜在的 VCM 解决方案，并探讨了未来的方向。

    Jan, 2020