CVPRNov, 2018

DVC：一种端到端的深度视频压缩框架

PDF
TL;DR本文提出了一种基于深度学习模型的视频压缩方法，其中利用神经网络的非线性表征能力和学习基于光流估计获取运动信息并重构当前帧的方法，同时采用两个 auto-encoder 风格的神经网络来压缩相应的运动和残差信息以共同优化所有组件，并通过单一损失函数来一起考虑减少压缩比特数和提高解码视频质量之间的权衡，实验证明该方法在 PSNR 方面优于广泛使用的 H.264 视频编码标准，在 MS-SSIM 方面甚至与最新的标准 H.265 相当。
发现论文，激发创造
  • 利用多尺度运动补偿和时空上下文模型的神经视频编码

    本文提出了一种基于深度神经网络编码的新方法。通过利用多尺度的运动补偿网络进行大范围运动的估计和补偿，同时采用自适应空时上下文模型进行高效熵编码，采用非局部注意力模块进行特征聚合和激活，通过对多模块的优化和多帧训练策略进行时间误差的最小化，最后将其与其他方法进行比较，证明了在流行的测试序列中，在 PSNR 和 MS-SSIM 失真度量方面均取得了一致的优异性能。

    Jul, 2020

  • 分布式编码架构的低复杂度深度视频压缩

    论文提出了一种基于深度学习的分布式视频编码架构，通过在解码器中使用有效的辅助信息生成模块，成功利用帧间相关性以提高压缩效率，同时，在编码速度相同的情况下，研究结果优于传统的分布式编码和基于 H.264 标准的压缩方法。

    Mar, 2023

  • 具有集成的不确定性感知深度视频压缩

    我们提出了一种具有深度集成的预测不确定性感知视频压缩模型，可以有效地捕捉预测不确定性，通过鼓励集成成员之间多样性并研究在视频压缩任务中引入对抗训练的好处来解决先前学习视频编解码器中的中间表示误差和重构帧中的伪影，实验结果显示，与 DVC Pro 相比，我们的模型可以有效节省超过 20% 的比特率。

    Mar, 2024

  • 深度生成式视频压缩

    文章提出了一种基于深度生成模型和序列数据的变分自编码器模型，用于视频压缩，经测试取得了竞争性的压缩效果。

    Oct, 2018

  • FVC：基于特征空间的深度视频压缩新框架

    本文介绍了一种在特征空间内实现运动估计、压缩、补偿和残差压缩的视频编码网络，通过多帧特征融合模块，并利用非局部注意力机制融合多帧参考特征提高帧重建效果，该网络在四个基准数据集上达到了最先进的性能。

    May, 2021

  • 利用视频编码知识进行深度视频增强

    本文提出了一种新的框架，利用视频压缩的低延迟配置和上下文自适应视频融合方法，提高 BasicVSR ++ 方法的质量，已在 NTIRE22 挑战中得到验证，并在定量指标和视觉质量方面与之前的方法相比均有所提高。

    Feb, 2023

  • 端到端速率失真优化的学习式分层双向视频压缩

    本研究提出了一种基于学习的分层双向视频编解码器，结合分层运动预测和端到端优化，实现了目前为止在 PSNR 和 MS-SSIM 上报告的学习视频压缩方案的最佳 R-D 结果，相对于传统视频编解码器，在 PSNR 和 MS-SSIM 以及 HM16.23 参考软件的 MS-SSIM 上性能均优于 x265 和 SVT-HEVC 编码器的 R-D 性能。

    Dec, 2021

  • 高效深度图像压缩的统一端到端框架

    该研究提出了一种基于三种新技术的统一框架，包括通道关注模块、高斯混合模型和解码器侧增强模块，命名为 EDIC，可用于基于学习的图像压缩，并说明该方法优于当前所有先进的图像压缩方法，同时将解码速度提高了超过 150 倍。

    Feb, 2020

  • OpenDVC: DVC 视频压缩方法的开源实现

    本技术报告介绍了 Deep Video Compression (DVC) 方法的开源 Tensorflow 实现。我们提供了优化后的 PSNR 实现，并在原实现基础上提供了更加可信的 MS-SSIM 优化实现。同时，我们公开了 OpenDVC 源代码和预训练模型，以促进学术界对视频压缩的深度研究。

    Jun, 2020

  • 深度视频编解码器控制

    本文提出了第一个同时考虑带宽限制和下游视觉性能的端到端可学习深度视频编解码器控制方法，通过在两种常见视觉任务和两个不同数据集上展示，我们的深度编解码器控制方法在满足动态带宽限制和遵循标准化的情况下，更好地保护了下游视觉性能。

    Aug, 2023