Dec, 2023

梯度衰减和逐层蒸馏加速学习视频编解码器

PDF
TL;DR最近几年，端到端学习的视频编码器在压缩效率方面已经显示出与传统编码算法竞争的潜力。然而，大多数基于学习的视频压缩模型与高计算复杂性和延迟相关，特别是在解码器方面，这限制了它们在实际应用中的部署。本文提出了一种基于梯度衰减和自适应分层蒸馏的新型模型不可知剪枝方案。梯度衰减增强了稀疏化过程中的参数探索，同时防止过度稀疏，比标准的直通估计方法更优。自适应分层蒸馏根据中间特征的失真情况，在不同阶段有效地调整稀疏训练，以最小的计算开销更新参数。所提出的方法已应用于三种流行的端到端学习的视频编码器，即 FVC、DCVC 和 DCVC-HEM。结果表明，我们的方法在 MACS 上减少了高达 65％，速度提升了 2 倍，并且 BD-PSNR 下降不到 0.3dB。支持代码和补充材料可从此 https URL 下载。
end-to-end learnt video codecspruning schemegradient decayadaptive layer-wise distillationcompression efficiency
发现论文，激发创造
  • 通过条件扩散解码器增强学习图像编解码器的速率失真感知灵活性

    通过使用条件扩散模型，本文展示了它作为解码器时在生成式压缩任务中的良好结果，同时通过采样方法，它们还允许在解码器端基于压缩表示创建新的失真和感知之间的权衡点。

    Mar, 2024

  • 内容自适应和错误传播感知的深度视频压缩

    通过联合训练多个连续帧的压缩表现，充分利用长期时间信息有效地减轻了重构帧中的错误传播。同时，在线编码器更新方案适应不同的视频内容，根据速率失真准则更新编码器参数而不改变解码器，在基准数据集上优于基于学习的视频编解码器。

    Mar, 2020

  • ELF-VC: 高效学习的可灵活调节码率视频编码

    通过提出几种新颖的方法，如专门用于机器学习的高效骨干网络和基于优化的流预测方案，我们的方法 ELF-VC 在视频压缩的低延迟模式下（只有 I 帧和 P 帧）具有更高的性能和更好的效率，与主流视频标准（如 H.264 、 H.265 、 AV1）和所有机器学习编解码器相比，在比特率范围内具有很好的 PSNR 、 MS-SSIM 、 VMAF 等指标，而且至少比所有机器学习编解码器都快 5 倍，并有更少的参数。

    Apr, 2021

  • 预训练扩散模型的极致视频压缩

    使用扩散模型的预测能力，在解码器中将多个神经压缩帧转换为连续的视频帧，以实现极端视频压缩，同时考虑感知质量指标，从低比特率下的位每像素（bpp）为 0.02 开始实现视觉上令人满意的重构，结果表明该方案比 H.264 和 H.265 等标准编解码器在低比特率领域具有更好的效果。

    Feb, 2024

  • 分布式编码架构的低复杂度深度视频压缩

    论文提出了一种基于深度学习的分布式视频编码架构，通过在解码器中使用有效的辅助信息生成模块，成功利用帧间相关性以提高压缩效率，同时，在编码速度相同的情况下，研究结果优于传统的分布式编码和基于 H.264 标准的压缩方法。

    Mar, 2023

  • 增强学习图像压缩的通道特征去相关

    通过充分利用现有的深度神经网络容量，本研究提出了一种改进压缩的方法，通过引导潜在特征学习更丰富和多样化的特征来实现更好的重构效果，并将通道相关的特征去相关损失集成到优化过程中，实验证明该方法在两种传统压缩方法上提高了压缩性能，没有增加额外的复杂性，可以作为类似方法的即插即用的优化方案。

    Mar, 2024

  • EVC：基于 Mask Decay 的实时神经图像压缩

    本文提出了一种高效的单模型可变位率编解码器，采用 mask decay 和稀疏正则化损失，大幅提升了神经图像压缩的 RD 性能，并通过可扩展编码器进一步减少编解码器复杂度。

    Feb, 2023

  • 多尺度可形变对齐和内容自适应推断用于灵活速率双向视频压缩

    本文提出了一种自适应运动补偿模型，通过多尺度形变对齐方案与多尺度条件编码结合，在运动内容自适应推理的基础上利用增益单元控制位分配，达到了学习视频编码的超越前沿水平的性能。

    Jun, 2023

  • 学习型视频压缩

    我们提出了一种 ML-based 的视频编码算法，通过评估不同分辨率和基于商业编解码器的标准视频压缩测试集发现，在低延迟模式下相对于 HEVC/H.265, AVC/H.264 和 VP9，我们的算法通常产生更小的代码。并且，我们的方法不会出现图块失真和像素化，可以产生更加视觉上令人愉悦的视频。

    Nov, 2018

  • 通用学习视频压缩

    本文提出了一种多功能的学习视频压缩（VLVC）框架，使用一种模型支持所有可能的预测模式，包括运动补偿模块和流预测模块，可大大减少体素流的传输成本，并在各种情况下支持多功能压缩。实验结果表明，VLVC 不仅支持多功能压缩，还是首个在 MS-SSIM 方面优于最新 VVC/H.266 标准参考软件的端到端学习视频压缩方法。

    Nov, 2021