Jun, 2020

OpenDVC: DVC 视频压缩方法的开源实现

PDF
TL;DR本技术报告介绍了 Deep Video Compression (DVC) 方法的开源 Tensorflow 实现。我们提供了优化后的 PSNR 实现，并在原实现基础上提供了更加可信的 MS-SSIM 优化实现。同时，我们公开了 OpenDVC 源代码和预训练模型，以促进学术界对视频压缩的深度研究。
deep video compressiontensorflowms-ssimpsnropendvc
发现论文，激发创造
  • DVC：一种端到端的深度视频压缩框架

    本文提出了一种基于深度学习模型的视频压缩方法，其中利用神经网络的非线性表征能力和学习基于光流估计获取运动信息并重构当前帧的方法，同时采用两个 auto-encoder 风格的神经网络来压缩相应的运动和残差信息以共同优化所有组件，并通过单一损失函数来一起考虑减少压缩比特数和提高解码视频质量之间的权衡，实验证明该方法在 PSNR 方面优于广泛使用的 H.264 视频编码标准，在 MS-SSIM 方面甚至与最新的标准 H.265 相当。

    Nov, 2018

  • BVI-DVC：用于深度视频压缩的训练数据库

    该研究介绍了一个新的视频数据库 BVI-DVC，用于训练以 CNN 为基础的视频压缩系统；实验结果表明，使用该数据库能够产生显著的编码增益，进而产生更好的视频压缩效果。

    Mar, 2020

  • 端到端速率失真优化的学习式分层双向视频压缩

    本研究提出了一种基于学习的分层双向视频编解码器，结合分层运动预测和端到端优化，实现了目前为止在 PSNR 和 MS-SSIM 上报告的学习视频压缩方案的最佳 R-D 结果，相对于传统视频编解码器，在 PSNR 和 MS-SSIM 以及 HM16.23 参考软件的 MS-SSIM 上性能均优于 x265 和 SVT-HEVC 编码器的 R-D 性能。

    Dec, 2021

  • 深层感知压缩

    本文探讨了深度学习压缩技术中常用的 MS-SSIM 和 MSE 误差函数与人类感知之间的关系，提出了 Deep Perceptual Compression 技术，通过在深度感知指标和 MS-SSIM 之间进行联合优化，相比先前的学习压缩方法和 JPEG-2000 具有更好的视觉效果，并且在目标检测等任务中表现更好。

    Jul, 2019

  • AlphaVC：高性能和高效的学习型视频压缩

    本文提出了 AlphaVC 的压缩算法，采用了几种新的技术来有效地提高压缩性能，包括引入条件 I 帧、像素到特征的运动预测方法和基于概率的熵跳过方法。AlphaVC 在所有常见测试数据集上的 PSNR 和 MSSSIM 指标上均超过了最新的压缩标准 VVC，并且具有非常快的编码和解码速度。

    Jul, 2022

  • 分布式编码架构的低复杂度深度视频压缩

    论文提出了一种基于深度学习的分布式视频编码架构，通过在解码器中使用有效的辅助信息生成模块，成功利用帧间相关性以提高压缩效率，同时，在编码速度相同的情况下，研究结果优于传统的分布式编码和基于 H.264 标准的压缩方法。

    Mar, 2023

  • 通过端到端学习的深度图像压缩

    使用深度卷积神经网络的有损图像压缩方法，结合感知损失和对抗损失以及逐渐引入量化误差和速率约束的易到难迁移学习实现更好的速率 - 失真优化。在多个数据集中，相比于 BPG，WebP，JPEG2000 和 JPEG，平均达到了 7.81％ - 19.1％的 BD - 率降低。

    Jun, 2018

  • 深度视频压缩的任务感知编码器控制

    我们引入了一种创新的编码器控制器，它具有模式预测和图片组选择模块，通过在编码阶段集中控制，使得在不同任务中可以进行可调的编码器调整，同时保持与标准预训练深度视频压缩解码器的兼容性。实证数据表明，我们的方法适用于多个任务且适用于多个现有的预训练深度视频压缩解码器，而且广泛实验表明，我们的方法对于不同任务的比特率优于以前的深度视频压缩方法，仅需一个预训练解码器。

    Apr, 2024

  • 端到端可学习的多尺度特征压缩技术适用于视觉编码器

    提出了一种新颖的多尺度特征压缩方法，并结合可学习的压缩器和多尺度特征融合网络实现端到端的优化，以及轻型编码器的设计。该方法在对象检测中取得了着眼的性能提升，并且在仅保留 0.002-0.003% 未压缩特征数据量的情况下，仍可以实现接近无损的性能。

    Jun, 2023

  • ELF-VC: 高效学习的可灵活调节码率视频编码

    通过提出几种新颖的方法，如专门用于机器学习的高效骨干网络和基于优化的流预测方案，我们的方法 ELF-VC 在视频压缩的低延迟模式下（只有 I 帧和 P 帧）具有更高的性能和更好的效率，与主流视频标准（如 H.264 、 H.265 、 AV1）和所有机器学习编解码器相比，在比特率范围内具有很好的 PSNR 、 MS-SSIM 、 VMAF 等指标，而且至少比所有机器学习编解码器都快 5 倍，并有更少的参数。

    Apr, 2021