我们提出了一种注意力门控分层记忆网络 (AGHMN)，其中包括卷积神经网络、双向门控循环单元、分层内存和注意力门控循环单元等模块，以便于实现实时聊天机器人的情感识别和历史上下文的建模和回溯。

Nov, 2019

本文提出了几种改进 Hierarchical Attention Network (HAN) 的方法，在一些大规模情感和主题分类数据集上证明了使用双向的 CAHAN 会比 HAN 更有效，代码公开。

Aug, 2019

本文提出一种基于双重 RNN 和多头注意力网络（MAT）的直观双流递归关注网络（DualRAN），该模型旨在解决情感对话（ERC）任务中建模上下文的难题，能够更有效地捕获全局和局部背景信息。实验结果表明 DualRAN 模型优于所有基线，并且每个组件的有效性得到了深入的证明。

Jul, 2023

使用基于注意力机制的双向循环神经网络模型分析先前话语对识别当前话语的影响，研究发现基于上下文学习不仅提高了性能，而且实现了更高的分类置信度。

May, 2018

本文提出了一种新型深度学习神经网络 RAN，采用自注意力机制和递归结构相结合的方法，实现了在长文本处理中的可重复性操作，对文本进行建模提取全局语义信息，并能兼容顺序和分类任务。实验结果表明，RAN 模型具有出色的编码能力，适用于长文本语义的自动提取和处理。

Jun, 2023

提出了一项新的任务 —— 自动理解口语内容，本文通过构造多层注意力机制的分层注意力模型（HAM）来提高自动理解口语内容任务的表现，并且通过考虑树状结构而不是顺序结构的表示方法，使得模型对 ASR 错误更加鲁棒。

Aug, 2016

本文提出了一种基于多层次主题循环编码者解码器的响应生成系统，并利用 Reddit 评论数据集进行模型训练和评估，结果表明该模型能够相比于强基线模型产生更多样、更为相关的响应，这一结果得到了两个自动化评估度量以及人工的评价的支持。

Nov, 2018

本文提出了一种基于分层上下文表示的模型，通过句子级和文档级表示来提高实体识别模型中全局信息的利用，其中包括标签嵌入和注意机制以及键值内存网络，实验证明该模型在三个基准数据集上表现出优越的效果。

Nov, 2019

本文提出了一种称为 Hierarchical Multi-scale Attention Network (HM-AN) 的多层次自然渐变神经网络，融合 Hierarchical Multi-scale RNN 和注意机制来处理动作识别问题，并且采用 Gumbel-softmax 梯度估计方法来优化网络表现。实验证明，HM-AN 在视觉任务上优于使用注意机制的 LSTM 网络，而通过网络学习的可视化，可以观察到 HM-AN 具有较好的注意力区域和分层次的时序结构。

Aug, 2017

本文提出了一种基于分层上下文注意力的 GRU 网络，用于应对循环神经网络中序列的单调时间依赖案例中用户短期兴趣方面的问题，实验表明该网络在两个真实数据集上表现出强大的个性化推荐能力和显著提高。

Nov, 2017