Apr, 2020

基于特征残差的学习式视频压缩

PDF
TL;DR本文介绍了一种基于深度神经网络的视频压缩网络，通过对图像特征的残差进行压缩，结合模型集成和逐步训练的方式提高整个框架的训练效率，并在 CLIC 验证集上实现了 0.9968 MS-SSIM 和测试集上的 0.9967 MS-SSIM。
video compressionneural networkresidualsmodel ensemblingtraining strategy
发现论文，激发创造
  • 深度残差学习用于图像压缩

    本研究旨在提高图像压缩效率，并使用深层残差学习网络和亚像素卷积等方法进行探索，最终实验结果显示 Kattolab、Kattolabv2 和 KattolabSSIM 在验证阶段下以合理的复杂度实现了 0.15bpp 下 0.972 的 MS-SSIM 得分。

    Jun, 2019

  • DVC：一种端到端的深度视频压缩框架

    本文提出了一种基于深度学习模型的视频压缩方法，其中利用神经网络的非线性表征能力和学习基于光流估计获取运动信息并重构当前帧的方法，同时采用两个 auto-encoder 风格的神经网络来压缩相应的运动和残差信息以共同优化所有组件，并通过单一损失函数来一起考虑减少压缩比特数和提高解码视频质量之间的权衡，实验证明该方法在 PSNR 方面优于广泛使用的 H.264 视频编码标准，在 MS-SSIM 方面甚至与最新的标准 H.265 相当。

    Nov, 2018

  • 基于神经压缩的特征学习用于视频修复

    本篇论文提出一种噪声鲁棒特征表示的神经模型，其采用了一种空间通道量化机制来自适应地确定潜在位置的量化步长，以在视频恢复中过滤噪声并保留精华信息，实验表明，该方法在视频去噪方面具有显著的性能提升，且在视频去雨和去雾方面也取得了 SOTA 的结果。

    Mar, 2022

  • 视频压缩的学习

    本文提出了 PixelMotionCNN 的概念，并采用基于学习的框架进行视频压缩，该框架包括迭代分析 / 综合，二值化等组件，实验结果表明该方案与 H.264 编解码器具有相当的性能表现，为未来视频编码的进一步提高压缩效率和 功能提供了可能的新方向。

    Apr, 2018

  • 具有空间 - 时间超分辨率的条件神经网络视频编码

    该研究论文提出了一个视频轨道的图像压缩方法，采用了混合编码框架以及一些新技术，包括使用 Spynet 网络进行准确的运动矢量估计，引入上下文挖掘方案以充分利用空时信息，以及整合空时超分辨率模块提高速率失真性能。

    Jan, 2024

  • FVC：基于特征空间的深度视频压缩新框架

    本文介绍了一种在特征空间内实现运动估计、压缩、补偿和残差压缩的视频编码网络，通过多帧特征融合模块，并利用非局部注意力机制融合多帧参考特征提高帧重建效果，该网络在四个基准数据集上达到了最先进的性能。

    May, 2021

  • 视频质量增强的压缩实现深度结构网络

    针对压缩视频的质量增强任务，提出了 Compression-Realize Deep Structural Network（CRDS）方法，利用经典压缩编码器结构和深度网络能力相结合的方式，引入了三种与压缩编解码器中三个主要过程相匹配的归纳偏差。通过构建预训练的潜在降级残差自编码器、精确的运动估计和残差提取以及分解质量增强为一系列简单的降噪子任务，实验证明该方法在 LDV 2.0 和 MFQE 2.0 等数据集上超越了现有模型。

    May, 2024

  • 模拟原始域：在压缩领域中加速动作识别

    本文提出了一种基于压缩视频领域的新方法，旨在通过利用运动向量和残差来加速计算并减少网络参数，在三个常用数据集上实验表明该模型不仅能够保持较高的准确率还具备更高的识别效率。

    Nov, 2019

  • ResQ: 视频感知的剩余量化

    通过低位量化的新视角以及引入时间依赖性，本文提出了一种视频网络的新的量化方案 Residual Quantization（ResQ），以降低冗余计算并提高准确性和比特位宽。此外，还通过动态调整比特位宽来适应视频中的变化，通过在语义分割和人体姿势估计基准上的实验证明该方法优于标准量化和现有高效视频感知模型。

    Aug, 2023

  • 隐式神经视频压缩

    该研究提出了一种基于神经网络的方法以实现视频压缩，通过隐式的神经网络表示每一帧的像素点来实现基于运动补偿的压缩，并利用学习的整数量化降低比特率。此方法称为隐式像素流（IPF）。

    Dec, 2021