Sep, 2017

稀疏注意力神经网络联合训练的序列标记和分类

PDF
TL;DR提出一种利用 LSTM 网络同时学习句子级别分类任务和序列标注任务的模型，通过语义相关性对单词进行加权的稀疏注意力机制，该方法在 ATIS 和 TREC 数据集上表现优于基准模型。
sentence-level classificationsequential labelingintent classificationslot fillinglong short-term memory networks
发现论文，激发创造
  • 联合学习标记句子和单词

    该研究探讨了不同颗粒度的目标如何用于学习更好的语言表示，并提出了一种架构来联合学习标记句子和标记令牌，最终通过注意力机制将每个级别的预测组合，其中令牌级别的标签也作为显式监督来合成句子级别的表示，实验结果表明，通过在多个级别上联合执行这些任务，模型在句子分类和序列标记方面都取得了实质性的改进。

    Nov, 2018

  • 基于视觉注意力的无序 RNN 多标签分类

    本文提出了用于多标签分类的联合学习注意力和循环神经网络模型，可有效利用注意力和 LSTM 模型，并且扩展了 beam 搜索技术以提高效率。

    Jul, 2017

  • 使用编码 LSTM 利用句子级信息进行语义槽填充

    该论文提出了一种名为 Encoder-Labeler LSTM 的序列标注增强方法，通过对标签依赖性和整个输入序列信息的显式建模，较传统方法在自然语言理解中的 Slot Filling 任务中的表现有了显著的提高。

    Jan, 2016

  • 基于 LSTM 的深度神经网络，关注于句子表示，用于医学科学摘要中的序列句子分类

    医学摘要中的连续句子分类任务（SSC）使用多级深度学习模型，包括 LSTM-based 网络和分层结构，来提取句子嵌入，进而实现更好的分类性能。

    Jan, 2024

  • 基于双向 LSTM 网络和注意力机制的语义关系分类与潜在实体类型识别

    本文提出了一种新颖的端到端循环神经模型，结合了实体感知的注意力机制和潜在实体类型（LET）方法，以解决语义关系分类任务中现有模型对高级语义和句法特征的过度依赖和未充分利用实体信息等问题。在 SemEval-2010 任务 8 上的实验结果表明，该模型在无需高级特征的情况下胜过现有最先进的模型。

    Jan, 2019

  • 用于连续句子分类的预训练语言模型

    本文提出一种基于预训练语言模型 (BERT) 的方法，能够直接利用所有句子中的所有单词的上下文信息进行文档级理解的任务，且在四个数据集中取得了最先进的结果。

    Sep, 2019

  • 稠密连接循环和协同信息的语义句子匹配

    本文提出了一种基于 DenseNet 的密集连接共同注意递归神经网络来处理句子匹配问题，并在竞争激烈的基准数据集上验证了其在注意特征和重要信息方面的优势，实现了最先进的性能水平。

    May, 2018

  • 使用长短期记忆网络的深度句子嵌入：分析和在信息检索中的应用

    本文提出了一种基于循环神经网络和长短时记忆单元的句子嵌入模型，该模型能够自动侦测句子中关键词和主题，从而进行网络文档检索等艰难的语言处理任务，并在性能上显著优于现有的先进方法。

    Feb, 2015

  • 基于半监督多任务学习的序列标注

    本文提出了一种序列标注框架，采用辅助训练目标，并通过学习预测数据集中每个词周围的单词进行语言建模，以此学习通用的语义和语法组合模式，并在不需要额外标注或未标注数据的情况下，实现在多个序列标注任务上取得一致的性能提升。

    Apr, 2017

  • 基于注意力机制的神经文本分割

    本文提出了一种基于注意力机制的双向 LSTM 模型，使用卷积神经网络学习句子嵌入，利用上下文信息预测文本分段，相比现有的竞争基准方法，在三个基准数据集上的 WinDiff 分数提高了约 7%。

    Aug, 2018