MMAug, 2023

MVFlow：具有运动矢量先验的压缩视频深度光流估计

PDF
TL;DR使用运动矢量来提高压缩视频的光流估计的速度和准确性，构建了四个包含帧和运动矢量的压缩视频光流数据集，实验证明 MVFlow 相对现有模型减少 1.09 AEPE 或节省 52% 时间来达到类似准确性。
deep learning-based methodsoptical flow estimationcompressed videomotion vectorsmvflow
发现论文，激发创造
  • 深度视频压缩的离线和在线光流增强

    通过优化传统视频压缩与深度学习光流预估的结合，可以获得更好的码率 - 失真比，提高视频数据的适应性和压缩效果。

    Jul, 2023

  • 增强型运动向量卷积神经网络实时动作识别

    通过用运动矢量直接代替计算光流来加速双流架构，然后通过初始化转移、监督转移和它们的组合，将光流 CNN 中学习的知识转移到运动矢量 CNN 中，以提高后者的性能。实验结果表明，该方法的识别性能可与最先进的方法相媲美，同时处理速度比原始的双流方法快 27 倍。

    Apr, 2016

  • 使用细化动态矢量的压缩视频动作识别

    本文提出了一种有效地利用现代视频压缩技术的运动矢量和残余的方法来学习原始帧的表征，并大大减少时域冗余，从而提高视频处理模型的速度。通过用优化的方法去除不可靠的运动信息，我们取得了与 CoViAR 同样好的结果。

    Oct, 2019

  • MemFlow: 光流估计与记忆预测

    MemFlow 是一种实时的光流估计和预测方法，通过使用内存中的历史运动信息实现光流的估计和预测，并通过适应不同视频分辨率来提高性能。

    Apr, 2024

  • 基于块运动矢量插值的视频快速语义分割

    提出一种新的基于压缩视频中存在的块运动矢量的特征传播方法，从静态关键帧双向熔合特征到中间视频帧，以达到实时分割并保持较高的准确性。

    Oct, 2018

  • DVC：一种端到端的深度视频压缩框架

    本文提出了一种基于深度学习模型的视频压缩方法，其中利用神经网络的非线性表征能力和学习基于光流估计获取运动信息并重构当前帧的方法，同时采用两个 auto-encoder 风格的神经网络来压缩相应的运动和残差信息以共同优化所有组件，并通过单一损失函数来一起考虑减少压缩比特数和提高解码视频质量之间的权衡，实验证明该方法在 PSNR 方面优于广泛使用的 H.264 视频编码标准，在 MS-SSIM 方面甚至与最新的标准 H.265 相当。

    Nov, 2018

  • FVC：基于特征空间的深度视频压缩新框架

    本文介绍了一种在特征空间内实现运动估计、压缩、补偿和残差压缩的视频编码网络，通过多帧特征融合模块，并利用非局部注意力机制融合多帧参考特征提高帧重建效果，该网络在四个基准数据集上达到了最先进的性能。

    May, 2021

  • 通过单个运动模糊图像的光流估计

    该研究提出了一种新的框架，利用 Transformer 网络从单个运动模糊图像中端到端地估计光流，并通过粗到细的方式评估了该模型的性能和应用。

    Mar, 2021

  • 任务导向流的视频增强

    本研究提出了一种基于任务的流程（TOFlow），该方法采用自我监督的方式以任务特定的方式学习运动表示，并在视频插值、视频去噪 / 去块以及视频超分辨率等三个视频处理任务上超越了传统的光流方法。

    Nov, 2017

  • DMC-Net: 为快速压缩视频动作识别生成具有区分性的动作线索

    该研究提出一种轻型的生成网络，用于提高压缩视频中噪声较多的运动向量的信噪比和准确性，从而实现更具有辨别力的运动提示 (DMC) 表示，并在行动识别任务中进行了联合训练，从而接近于光流使用的高精度；该方法在三个行动识别数据集上进行了广泛的评估，并证实了其有效性。

    Jan, 2019