Aug, 2016

用于提升机器理解口语内容的分层注意力模型

PDF
TL;DR提出了一项新的任务 —— 自动理解口语内容，本文通过构造多层注意力机制的分层注意力模型（HAM）来提高自动理解口语内容任务的表现，并且通过考虑树状结构而不是顺序结构的表示方法，使得模型对 ASR 错误更加鲁棒。
machine comprehensionspoken contentattention modelneural networkasr errors
发现论文，激发创造
  • 面向机器理解口语内容：机器初步实现托福听力理解测试

    本研究提出了一种基于 AMRNN 的机器对英语口语内容进行听力理解测试，结果表明在这项任务中，单词级别的注意力机制比句子级别更为鲁棒。

    Aug, 2016

  • 使用多跳注意力机制的语音情感识别

    该论文提出了一种利用音频和文本信息的语音情感分类方法，使用双向 LSTM 和多跳注意力机制，在 IEMOCAP 数据集上，相对于现有技术，其在加权准确率上提高了 6.5% 的性能。

    Apr, 2019

  • HAM：面向 3D 视觉定位的高性能分层注意力模型

    本文主要介绍了针对 3D 点云的视觉定位问题，提出了基于 Transformer 和 Hierarchical Attention Model 的端到端模型，通过对三个基本问题的解决来提高模型性能，实验结果表明 HAM 模型能够在多模态视觉输入下取得领先的结果。

    Oct, 2022

  • 基于循环注意力模型的神经机器翻译

    通过使用一个循环网络来明确地建模词语先前和随后的注意力水平之间的关系，我们改进了 Bahdanau 等人（2014）的注意力模型，并且我们的参数化注意力模型的实验表明其可以提高翻译质量。

    Jul, 2016

  • 基于注意力机制的卷积神经网络用于机器阅读理解

    本篇论文探讨了在 MCTest 数据集上应用基于神经网络的层次化注意力机制的机器理解和问答任务，实验结果表明这种方法大幅度超越之前的深度学习方法。

    Feb, 2016

  • 层级注意力网络在文档级神经机器翻译中的应用

    本文提出了一种层次化的注意力模型，通过在神经机器翻译中引入文本级的上下文信息，有效提升了翻译的质量。实验结果表明，编码器和解码器都对上下文信息做出了积极贡献。

    Sep, 2018

  • 基于多尺度层级注意力网络的动作识别

    本文提出了一种称为 Hierarchical Multi-scale Attention Network (HM-AN) 的多层次自然渐变神经网络，融合 Hierarchical Multi-scale RNN 和注意机制来处理动作识别问题，并且采用 Gumbel-softmax 梯度估计方法来优化网络表现。实验证明，HM-AN 在视觉任务上优于使用注意机制的 LSTM 网络，而通过网络学习的可视化，可以观察到 HM-AN 具有较好的注意力区域和分层次的时序结构。

    Aug, 2017

  • 人类交流理解的多注意力循环网络

    本文介绍了一种名为多注意力循环网络（MARN）的人类交流理解神经架构，通过使用多注意力块（MAB）的神经组件，MARN 致力于发现和存储影响人际交往的互动，并在多模态情感分析、说话者特质识别和情感识别方面显示出最先进的性能。

    Feb, 2018

  • HCAM -- 多模态情感识别的层级交叉关注模型

    本文提出了一种基于 HCAM 方法的跨模态情绪识别模型，使用神经网络模型组合音频和文本数据，在 IEMOCAP、MELD 和 CMU-MOSI 三个数据集上达到了最先进的结果。

    Apr, 2023

  • 带有结构注意力的神经抽象摘要

    本文提出了一种基于结构化注意力的分层编码器，用于建模句内和文档间相互依赖关系，在多文档摘要生成任务中表现出显著的改进，击败了现有的模型。

    Apr, 2020