Sep, 2023

可微分的分辨率压缩与对齐，用于高效视频分类和检索

PDF
TL;DR通过 Differentiable Resolution Compression and Alignment 机制，我们提出了一种高效的视频表示网络，以减小计算成本，同时保持一致的时间相关性，从而在近似重复视频检索和动态视频分类方面取得了最佳的效率与性能的权衡。
video inference efficiencydifferentiable resolution compression and alignmenttemporal correlationsresolution-align transformer layerend-to-end optimization
发现论文，激发创造
  • 多尺度可形变对齐和内容自适应推断用于灵活速率双向视频压缩

    本文提出了一种自适应运动补偿模型，通过多尺度形变对齐方案与多尺度条件编码结合，在运动内容自适应推理的基础上利用增益单元控制位分配，达到了学习视频编码的超越前沿水平的性能。

    Jun, 2023

  • 基于压缩先验的视频超分辨率算法（COMISR）

    本文提出了一种新的有压缩感知的视频超分辨率模型，旨在恢复高分辨率内容而不引入压缩引起的伪影。该模型包括三个模块：双向循环变形、保留细节的流估计和拉普拉斯增强，针对包含压缩的视频的性质设计实现。经过大量实验，表明该方法不仅能从常用基准数据集中恢复未压缩帧上的高分辨率内容，而且基于许多数量化指标在超分辨压缩视频方面也达到了最先进的性能。

    May, 2021

  • 利用视频编码知识进行深度视频增强

    本文提出了一种新的框架，利用视频压缩的低延迟配置和上下文自适应视频融合方法，提高 BasicVSR ++ 方法的质量，已在 NTIRE22 挑战中得到验证，并在定量指标和视觉质量方面与之前的方法相比均有所提高。

    Feb, 2023

  • DVC：一种端到端的深度视频压缩框架

    本文提出了一种基于深度学习模型的视频压缩方法，其中利用神经网络的非线性表征能力和学习基于光流估计获取运动信息并重构当前帧的方法，同时采用两个 auto-encoder 风格的神经网络来压缩相应的运动和残差信息以共同优化所有组件，并通过单一损失函数来一起考虑减少压缩比特数和提高解码视频质量之间的权衡，实验证明该方法在 PSNR 方面优于广泛使用的 H.264 视频编码标准，在 MS-SSIM 方面甚至与最新的标准 H.265 相当。

    Nov, 2018

  • 高效视频识别的分辨率思考

    本研究通过跨分辨率知识蒸馏方法（ResKD）来解决在低分辨率视频帧上识别准确度低的问题，该方法证明了在提高效率和精度方面的有效性，并可扩展到极低分辨率帧。

    Sep, 2022

  • 基于特征残差的学习式视频压缩

    本文介绍了一种基于深度神经网络的视频压缩网络，通过对图像特征的残差进行压缩，结合模型集成和逐步训练的方式提高整个框架的训练效率，并在 CLIC 验证集上实现了 0.9968 MS-SSIM 和测试集上的 0.9967 MS-SSIM。

    Apr, 2020

  • 改变压缩视频分辨率以高效进行语义分割

    本文提出了一种称为 AR-Seg 的改变分辨率框架，旨在通过使用低分辨率来减少非关键帧的计算成本，同时避免降采样引起的性能下降，CReFF 模块能够更好地进行空间对齐和聚合，FST 策略能够通过显式相似性损失和隐式约束提高分割准确性，CamVid 和 Cityscapes 等多个数据集上，AR-Seg 在不同分割骨干网的情况下实现了最先进的性能。

    Mar, 2023

  • 准确快速压缩视频字幕生成

    在压缩领域中，通过使用简单而有效的端到端转换器实现从压缩视频中进行学习并进行视频字幕生成，该方法在不同基准测试中取得了最先进的性能，并且运行速度比现有方法快近 2 倍。

    Sep, 2023

  • 基于神经压缩的特征学习用于视频修复

    本篇论文提出一种噪声鲁棒特征表示的神经模型，其采用了一种空间通道量化机制来自适应地确定潜在位置的量化步长，以在视频恢复中过滤噪声并保留精华信息，实验表明，该方法在视频去噪方面具有显著的性能提升，且在视频去雨和去雾方面也取得了 SOTA 的结果。

    Mar, 2022

  • 基于时空变换器的视频压缩框架

    空间 - 时间变换器 (STT-VC) 是通过整合放松可变形变换器 (RDT)、多粒度预测 (MGP) 模块和基于空间特征分布先验的变换器 (SFD-T) 来提高学习视频压缩 (LVC) 的性能。实验结果表明，该方法相比于现有技术在 BD-Rate 节省上获得了 13.5% 的最佳结果。

    Sep, 2023