利用视频编码知识进行深度视频增强
本文提出了一种基于深度学习模型的视频压缩方法,其中利用神经网络的非线性表征能力和学习基于光流估计获取运动信息并重构当前帧的方法,同时采用两个 auto-encoder 风格的神经网络来压缩相应的运动和残差信息以共同优化所有组件,并通过单一损失函数来一起考虑减少压缩比特数和提高解码视频质量之间的权衡,实验证明该方法在 PSNR 方面优于广泛使用的 H.264 视频编码标准,在 MS-SSIM 方面甚至与最新的标准 H.265 相当。
Nov, 2018
本文提出了一种基于深度神经网络编码的新方法。通过利用多尺度的运动补偿网络进行大范围运动的估计和补偿,同时采用自适应空时上下文模型进行高效熵编码,采用非局部注意力模块进行特征聚合和激活,通过对多模块的优化和多帧训练策略进行时间误差的最小化,最后将其与其他方法进行比较,证明了在流行的测试序列中,在 PSNR 和 MS-SSIM 失真度量方面均取得了一致的优异性能。
Jul, 2020
本文提出了一种可扩展的视频编码框架,该框架通过基础层比特流支持机器视觉(特别是物体检测)和增强层比特流支持人类视觉,并且结果表明,该框架在物体检测方面比最先进的视频编解码器节省 13-19%的比特率,同时在人类视觉任务的 MS-SSIM 方面保持有竞争力。
Aug, 2022
我们提出了一种 ML-based 的视频编码算法,通过评估不同分辨率和基于商业编解码器的标准视频压缩测试集发现,在低延迟模式下相对于 HEVC/H.265, AVC/H.264 和 VP9,我们的算法通常产生更小的代码。并且,我们的方法不会出现图块失真和像素化,可以产生更加视觉上令人愉悦的视频。
Nov, 2018
基于图像动画的视频压缩方法,通过使用预测编码方案和图像动画作为预测器,以及针对实际目标帧的残差编码,有效地提高压缩率,与 HEVC 和 VVC 相比可获得超过 70% 和 30% 的比特率增益。
Jul, 2023
本文系统、全面地回顾了基于神经网络的图像和视频压缩技术的发展现状及未来趋势。特别是,介绍了通过深度学习和 HEVC 框架实现的先进视频编码技术,并回顾了基于神经网络的端到端图像和视频编码框架,展示了他们在生成高效率信号表示结构方面的探索和未来的研究趋势。
Apr, 2019
针对压缩视频的质量增强任务,提出了 Compression-Realize Deep Structural Network(CRDS)方法,利用经典压缩编码器结构和深度网络能力相结合的方式,引入了三种与压缩编解码器中三个主要过程相匹配的归纳偏差。通过构建预训练的潜在降级残差自编码器、精确的运动估计和残差提取以及分解质量增强为一系列简单的降噪子任务,实验证明该方法在 LDV 2.0 和 MFQE 2.0 等数据集上超越了现有模型。
May, 2024
该论文系统研究了基于深度学习的 33 种视频超分辨率方法,提出了一个分类法并将这些方法分属到六个子类中,并详细描述了所有方法的体系结构和实现细节。通过在一些基准数据集上对代表性 VSR 方法的性能进行总结和比较,讨论了 VSR 领域中需要进一步研究的一些挑战。这项工作预计对 VSR 技术的深度学习方法做出贡献,从而深化我们对该领域的理解,并成为该领域中最早的系统研究之一。
Jul, 2020
我们提出了一种全新的视频编码系统,基于条件编码的概念构建,其基础层支持机器视觉任务,而其增强层支持人类视觉重建,实验证明在基础层上,我们的框架优于现有的学习型视频编码和传统视频编码,并且在增强层上有可比性的性能。
Jul, 2023