Aug, 2017

基于多尺度层级注意力网络的动作识别

PDF
TL;DR本文提出了一种称为 Hierarchical Multi-scale Attention Network (HM-AN) 的多层次自然渐变神经网络，融合 Hierarchical Multi-scale RNN 和注意机制来处理动作识别问题，并且采用 Gumbel-softmax 梯度估计方法来优化网络表现。实验证明，HM-AN 在视觉任务上优于使用注意机制的 LSTM 网络，而通过网络学习的可视化，可以观察到 HM-AN 具有较好的注意力区域和分层次的时序结构。
recurrent neural networkshierarchical multi-scale rnnattention mechanismaction recognitiongumbel-softmax
发现论文，激发创造
  • 视频动作识别的分层注意力网络

    本文提出 Hierarchical Attention Network（HAN）用于实现复杂的人类行为理解。该模型可以同时融合视频的静态空间信息，短期运动信息和长期视频时间结构，并利用多步骤空间时间关注机制来自动学习视频帧中的重要区域和时间片段，最终在标准的视频行为基准测试中显著优于现有技术。

    Jul, 2016

  • 使用视觉注意力进行动作识别

    本文提出一种基于 soft attention 的模型，用于对视频中的动作进行识别，该模型使用多层循环神经网络 (RNNs) 和长短期记忆 (LSTM) 单元，学习有选择地专注于视频帧的某些部分，通过几个瞥见来对视频进行分类。该模型主要学习帧中哪些部分与目标任务相关，并赋予它们更高的重要性。我们在 UCF-11 (YouTube Action)、HMDB-51 和 Hollywood2 数据集上评估了该模型，并分析了模型在不同场景和不同动作下注意力的聚焦。

    Nov, 2015

  • 分层多尺度循环神经网络

    本文提出了一种多尺度递归神经网络，称为分层多尺度递归神经网络，通过使用新的更新机制，在不使用显式边界信息的情况下捕获序列中的潜在分层结构，从而解决递归神经网络中的层次和时间表示问题，并在字符级别语言建模和手写序列建模上进行评估。

    Sep, 2016

  • 用于提升机器理解口语内容的分层注意力模型

    提出了一项新的任务 —— 自动理解口语内容，本文通过构造多层注意力机制的分层注意力模型（HAM）来提高自动理解口语内容任务的表现，并且通过考虑树状结构而不是顺序结构的表示方法，使得模型对 ASR 错误更加鲁棒。

    Aug, 2016

  • 一种基于时空注意力机制的人体动作识别端到端模型（来自骨架数据）

    本研究提出了一种基于 RNNs 和 LSTM 的空间和时间关注模型，用于从骨架数据中识别人类动作，实验结果表明该模型在 SBU 和 NTU 数据集上均取得了很好的效果。

    Nov, 2016

  • 多层深度特征联合关注的动作识别

    该研究提出了一种新颖的深度监督神经网络模型，利用了视觉跟踪，并结合了深度卷积神经网络（CNN）和循环神经网络（RNN）的鲁棒性来进行视频动作识别任务。研究结果表明，该模型在 UCF101 和 HMDB51 这两个具有挑战性的数据集上表现出色，仅使用卷积特征就可以达到最先进的水平。

    Jul, 2016

  • 基于视觉注意力的无序 RNN 多标签分类

    本文提出了用于多标签分类的联合学习注意力和循环神经网络模型，可有效利用注意力和 LSTM 模型，并且扩展了 beam 搜索技术以提高效率。

    Jul, 2017

  • 分层循环注意力网络用于生成回复

    研究聊天机器人中的多轮对话应答生成，提出一种基于分层循环注意力网络的方法，该方法使用单词级别和语句级别的注意机制来捕捉对话上下文中重要部分，能够明显优于现有的多轮应答生成模型。

    Jan, 2017

  • 基于姿态注意力的手势人体动作识别

    本研究提出一种基于时空注意力机制的人体动作识别方法，采用外部信息（人的姿态）提取注意力分布，采用 RNN 实现注意力的递归处理，以实现自动关注动作中最活跃的手部，并检测最具区分度的动作要素，并在 NTU-RGB + D 数据集上获得最先进的结果。

    Dec, 2017

  • 基于注意力门控分层记忆网络的实时情绪识别

    我们提出了一种注意力门控分层记忆网络 (AGHMN)，其中包括卷积神经网络、双向门控循环单元、分层内存和注意力门控循环单元等模块，以便于实现实时聊天机器人的情感识别和历史上下文的建模和回溯。

    Nov, 2019