Jul, 2024

使用低复杂度、可切换的神经包装器进行标准兼容视频编码

HTML
PDF
TL;DR在神经视频编码中，为解决复杂性和码率－失真性能之间的互相制衡问题，我们提出了一种新的框架，采用共同优化的神经预处理器和后处理器来封装标准视频编解码器，在不同分辨率下编码视频，并通过将分辨率的改变与神经封装的端到端优化相结合，实现了性能和解码复杂度的平衡。
发现论文，激发创造
  • 学习型视频压缩

    我们提出了一种ML-based的视频编码算法，通过评估不同分辨率和基于商业编解码器的标准视频压缩测试集发现，在低延迟模式下相对于HEVC/H.265, AVC/H.264和VP9，我们的算法通常产生更小的代码。并且，我们的方法不会出现图块失真和像素化，可以产生更加视觉上令人愉悦的视频。

    Nov, 2018

  • 基于神经网络的图像和视频压缩技术综述

    本文系统、全面地回顾了基于神经网络的图像和视频压缩技术的发展现状及未来趋势。特别是，介绍了通过深度学习和HEVC框架实现的先进视频编码技术，并回顾了基于神经网络的端到端图像和视频编码框架，展示了他们在生成高效率信号表示结构方面的探索和未来的研究趋势。

    Apr, 2019

  • 利用简化 CNN 对视频编码中的非局部冗余进行提升

    该研究旨在利用卷积神经网络及非局部冗余优化视频压缩，达到与预处理去噪CNN类似的编码增益，同时只需要约为1%的计算复杂度，适用于资源受限的条件下进行视频压缩。

    Oct, 2019

  • 利用多尺度运动补偿和时空上下文模型的神经视频编码

    本文提出了一种基于深度神经网络编码的新方法。通过利用多尺度的运动补偿网络进行大范围运动的估计和补偿，同时采用自适应空时上下文模型进行高效熵编码，采用非局部注意力模块进行特征聚合和激活，通过对多模块的优化和多帧训练策略进行时间误差的最小化，最后将其与其他方法进行比较，证明了在流行的测试序列中，在PSNR和MS-SSIM失真度量方面均取得了一致的优异性能。

    Jul, 2020

  • 多元背景神经视频压缩

    提出增强神经视频编解码器的上下文多样性，分别从时间和空间维度引入了层次质量模式、基于光流的编码框架以及四叉树分区以增加上下文多样性，实验结果表明，相比现有技术，该编解码器的比特率节省达到23.5％，并在PSNR方面超越了传统编解码器/ECM的下一代。

    Feb, 2023

  • 神经图像压缩中的速率-失真-复杂性优化探索

    本文通过量化解码复杂度作为优化目标，系统研究了神经图像编解码器的速率-失真-复杂度（RDC）优化，并设计了一个可变复杂度的神经编解码器，支持精细的复杂度调整，展示了RDC优化在神经图像编解码器中的可行性和灵活性。

    May, 2023

  • 跨平台应用的实时神经视频编解码器的研究基于校准信息

    我们提出了一个实时跨平台神经视频编解码器，能够在消费级GPU上高效解码来自其他编码平台的720P视频比特流。

    Sep, 2023

  • 推动神经图像压缩的速率失真计算前沿

    通过我们的速率-失真计算（RDC）研究，我们展示了虽然浮点运算（FLOPs）和运行时间对于准确地比较神经压缩方法都是不足够的，但我们还是找到了一种新型神经压缩架构，其在计算要求和RD性能之间具有最佳的实证权衡。

    Sep, 2023

  • C3: 单图像或视频的高性能低复杂度神经压缩

    C3是一种神经压缩方法，通过对每个图像或视频进行过度拟合从而获得强大的率失真性能，其解码复杂度与其他具有相似率失真性能的神经模型相比可降低一个数量级。C3在COOL-CHIC的基础上进行改进，并且还开发了将C3应用于视频的新方法。在CLIC2020图像基准测试中，我们将C3解码的每个像素的MAC数减少到不足3k，与H.266编解码器的VDH性能相当。在UVG视频基准测试中，我们将C3解码的每个像素的MAC数减少到不足5k，与Video Compression Transformer的VDH性能相当。

    Dec, 2023

  • PNVC：面向实用的基于隐式神经表示的视频压缩

    本研究针对现有视频编解码器在解码复杂性和系统延迟方面的问题，提出了一种新颖的基于隐式神经表示（INR）的视频编码框架PNVC。该框架通过多项设计创新显著提高了压缩性能，相较于HEVC HM 18.0，BD率节省超过35%，并且为1080p内容保持了20+ FPS的解码速度，为INR视频编码的实际应用奠定了基础。

    Sep, 2024