ECCVAug, 2020

记忆辅助的密集预测编码技术用于视频表示学习

PDF
TL;DR本文介绍了一种自我监督的视频表示学习方法，使用 Memory-augmented Dense Predictive Coding（MemDPC）框架进行训练，能够高效地进行多个假设，模型在四个不同的下游任务中均达到了同类模型中最佳的性能，具有很高的应用推广价值。
self-supervised learningvideoaction recognitionmemory-augmented dense predictive codingrgb frames
发现论文，激发创造
  • 稠密预测编码的视频表示学习

    本论文介绍了自监督学习，通过视频中的 Dense Predictive Coding (DPC) 框架形成具有密集的时空块的编码，利用课程训练方式预测未来，并在 Kinetics-400 数据集上进行实验，结果表明，DPC 的自监督预训练性能超过了以前的方法，并接近于在 ImageNet 上预先训练的基线。

    Sep, 2019

  • 动作识别的记忆增强时序动态学习

    提出了一种记忆增强的时间动态学习网络，利用差分记忆控制器将最显著的信息写入外部存储器，并忽略不相关的信息，增强了动作识别的效果。

    Apr, 2019

  • 通过密集轨迹聚类进行视频表征的非监督学习

    本文提出了一个基于无监督学习的方法来学习视频中的动作识别表示，该方法结合图像表示中的两种顶级目标 —— 实例识别和局部聚合，以及通过 IDT 描述符构成的集群。使用此方法，我们在 UCF101 和 HMDB51 动作识别基准测试中取得了优异的结果，并且成功捕捉了视频动态。

    Jun, 2020

  • 视频压缩的学习

    本文提出了 PixelMotionCNN 的概念，并采用基于学习的框架进行视频压缩，该框架包括迭代分析 / 综合，二值化等组件，实验结果表明该方案与 H.264 编解码器具有相当的性能表现，为未来视频编码的进一步提高压缩效率和 功能提供了可能的新方向。

    Apr, 2018

  • DMC-Net: 为快速压缩视频动作识别生成具有区分性的动作线索

    该研究提出一种轻型的生成网络，用于提高压缩视频中噪声较多的运动向量的信噪比和准确性，从而实现更具有辨别力的运动提示 (DMC) 表示，并在行动识别任务中进行了联合训练，从而接近于光流使用的高精度；该方法在三个行动识别数据集上进行了广泛的评估，并证实了其有效性。

    Jan, 2019

  • 视频的无监督学习长期运动动态

    本文提出了一种无监督表征学习方法，可以紧凑地编码视频中的运动依赖。利用 RNN Encoder-Decoder 框架预测序列化的原子级 3D 流，以有效地减少学习框架的复杂性。该方法可以用于运动分类和识别等多种应用。

    Jan, 2017

  • 内存重放与数据压缩结合的持续学习方法

    本文提出了一种基于 DPP 的方法 - 记忆重放数据压缩（MRDC）来提高数据存储量以解决连续学习中过度遗忘过去的问题，并在多个任务上进行了验证，包括自动驾驶物体检测。

    Feb, 2022

  • 深度预测编码网络

    提出深度预测编码网络，用于学习具有动态情境感知的表征学习，实现了高效的特征提取与局部不变性表示，同时具有良好的结构噪声适应能力。

    Jan, 2013

  • 学习语义感知动态视频预测

    该研究提出了一种架构和训练方案，通过显式地建模去除和捕捉视频中语义一致的区域的演变来预测视频帧。

    Apr, 2021

  • 动作识别的端到端视频级表示学习

    本研究提出深度网络与时域金字塔池化方法（DTPP）作为一种端到端的视频级表征学习方法，用于解决部分观察训练、无端对端学习、单一时间尺度建模等问题，在 UCF101 和 HMDB51 这两个具有挑战性的视频动作数据集上均取得最先进的表现。

    Nov, 2017