CVPRNov, 2017

RNN 的激活反向传播

PDF
TL;DR本研究提出了一种基于深度模型的视频内容分析方法，同时利用自顶向下的显著地图来将证据同时固定在空间和时间上，并通过模型内部表示可视化出影响深度模型输出的时空线索，进而能够在视频段中定位特定动作或字幕短语所对应的特征。
deep modelsvideo contentsaliencyimage classificationmodel predictions
发现论文，激发创造
  • 通过激发反向传播实现自顶向下的神经注意力

    本文提出了一种新的反向传播方案 Excitation Backprop 来通过概率化 Winner-Take-All 过程向下传递自上而下的信号以生成特定任务的 top-down attention maps，同时引入了对比注意力的概念，以使 top-down attention maps 更具有区分性，并在多个数据集上进行实验验证，取得了良好的效果。

    Aug, 2016

  • 基于标题引导的自上而下视觉显著性

    本文提出了基于标题引导的视觉显著性方法，通过训练数据隐式的学习到现代编码器解码器网络中的区域到单词的映射，而不引入显式的注意力层，从而分析各种现有模型结构，并提供更准确的显著性热图。

    Dec, 2016

  • 可解释的时空注意力视频动作识别

    通过引入可解释的时空注意力机制来提高视频动作识别的准确性和模型解释性，并使用一组正则化器对其进行约束。利用弱监督的方式仅使用分类标签，模型不仅提高了准确性，还能时空自动定位区分性区域。

    Oct, 2018

  • 动态显著性预测的时空显著性网络

    本研究提出了基于深度学习的时空注意力预测模型，其中采用两条流网络架构，探究了不同的信息融合机制。实验结果表明，采用运动信息可以有助于静态注意力估计，并取得了与最先进模型相竞争的结果。

    Jul, 2016

  • 使用视觉注意力进行动作识别

    本文提出一种基于 soft attention 的模型，用于对视频中的动作进行识别，该模型使用多层循环神经网络 (RNNs) 和长短期记忆 (LSTM) 单元，学习有选择地专注于视频帧的某些部分，通过几个瞥见来对视频进行分类。该模型主要学习帧中哪些部分与目标任务相关，并赋予它们更高的重要性。我们在 UCF-11 (YouTube Action)、HMDB-51 和 Hollywood2 数据集上评估了该模型，并分析了模型在不同场景和不同动作下注意力的聚焦。

    Nov, 2015

  • 深度表示学习在动作识别方面的启示

    通过可视化两流模型学习识别视频中人类动作所获得的深度时空表示，我们揭示了一些关键的观察结果，例如交叉流融合可以让网络学习到真正的时空特征，而不是简单的外观和动作特征，同时我们发现可视化不仅可以揭示学习到的表示，还可以说明系统失效的原因。

    Jan, 2018

  • 用于时空视觉注意的循环混合密度网络

    本研究提出了一种基于高斯混合模型的时空注意力模型，并使用人类注视数据进行训练，相比先前的方法，该模型在影片显著性预测方面具有最先进的表现，并在动作分类准确性方面取得了改进。

    Mar, 2016

  • 视频分类的混合深度学习框架中建模时空线索

    本文提出了一种混合式深度学习框架，旨在对视频的静态空间信息、短期运动以及长期时间线索进行建模，并且在 UCF-101 人体动作和 Columbia 消费者视频两个标注数据集上实验，结果表明该框架相对于传统策略具有更高的性能.

    Apr, 2015

  • 探索视频动作识别中的可解释性

    我们提出了一个用于研究动作识别假设并定量测试的框架，从而推进视频动作识别中深度神经网络的可解释性研究。

    Apr, 2024

  • 深度视觉注意力预测

    通过深度学习网络结构，我们的视觉注意力网络从全局到本地不同范围内的多尺度特征中提取等级显著信息以预测人眼的视觉注视点，并在各种基准数据集上实现了最先进的性能表现。

    May, 2017