May, 2016

使用双向 LSTM 模型和内在注意力学习自然语言推理

PDF
TL;DR该论文提出了一种基于句子编码技术的模型，通过使用双向 LSTM 进行单词级别的平均池化生成第一阶段的句子表示，并采用注意力机制替代平均池化，以更好地表示文本蕴含关系。最终，通过对斯坦福自然语言推理语料库的实验验证了该模型具有较少的参数以及比现有最佳的句子编码方法更高的性能。
发现论文，激发创造
  • 迭代精化编码器中的自然语言推理句子嵌入

    本研究提出了一种双向长短时记忆网络（BiLSTM）和最大池化层的分层策略，为各种自然语言处理任务提供高效的分层表征，并在多项评估任务中超越 InferSent 和 SkipThought，特别是在评估句子表征中语言特性捕捉的能力方面，优于 InferSent 模型。

    Aug, 2018

  • 使用 LSTM 学习自然语言推断

    本文使用 LSTM 结构，将 match-LSTM 方法引入进行单词级联匹配以预测自然语言推理中的矛盾或中性关系标签，并在 Stanford 自然语言推理数据集上表现出比其他深度神经网络方法更高的 86.1% 的准确率。

    Dec, 2015

  • 生成自然语言推断链

    该论文提出了一项新的任务，即通过一个源句子生成一个蕴含的句子，使用带有关注力的 LSTM 模型对斯坦福自然语言推理语料库的蕴含对进行训练，在手动注释的测试集上，82% 的生成句子是正确的，还使用递归方法生成自然语言推理链，从而自动构造了一个蕴含图。

    Jun, 2016

  • DR-BiLSTM：依赖阅读双向 LSTM 用于自然语言推理

    论文提出了一种新的深度学习架构，用于解决自然语言推理任务，采用依赖阅读的双向 LSTM 网络（DR-BiLSTM）来模拟前提和假设之间的关系。采用复杂的集成策略将多个模型组合起来，进一步提高了结果。研究表明 DR-BiLSTM 在 Stanford NLI 数据集上获得了最佳单模型和集成模型效果，取得了新的最优成绩。

    Feb, 2018

  • 增强型 LSTM 用于自然语言推断

    本研究设计了基于 LSTM 的连锁推理模型，进一步考虑局部推理建模和推理组合的递归架构，包括句法分析信息在内，以实现更高准确性的神经网络推理模型。

    Sep, 2016

  • 基于门控注意力机制的循环神经网络句子编码器在自然语言推理中的应用

    本文介绍了一个系统 (alpha)，使用神经网络将一句话表示为固定长度向量，用自然语言推理任务来测试该表征的质量，以参加 RepEval 2017 共享任务。该模型在领域内测试集和跨领域测试集上均获得了 74.9% 的精度，并在句内门控注意力组合和自然语言推理方面具有优异的表现，同时在斯坦福自然语言推理（SNLI）数据集上获得了 85.5% 的精度。

    Aug, 2017

  • 基于知识增强的双层注意力网络用于情感分析

    本研究提出了一种基于双向长短期记忆的新型两层注意网络，利用 WordNet 生成知识图嵌入来提高情感分析的预测能力，将其与基于支持向量回归和多层感知机网络的监督模型相结合，实验结果表明该模型在 SemEval 2017 上表现优于顶尖系统，分别将 Sub-tracks 1 和 2 的准确率提高了 1.7 和 3.7 个百分点。

    May, 2018

  • 双向语言模型的半监督序列标注

    本文探讨了一种半监督的方法，通过添加双向语言模型的预训练上下文嵌入到 NLP 系统中用于序列标注任务，相比其他转移学习或添加标记数据和任务特定词典的方法，在命名实体识别和块分割等任务上实现了最先进的结果。

    Apr, 2017

  • 基于注意力机制的神经文本分割

    本文提出了一种基于注意力机制的双向 LSTM 模型，使用卷积神经网络学习句子嵌入，利用上下文信息预测文本分段，相比现有的竞争基准方法，在三个基准数据集上的 WinDiff 分数提高了约 7%。

    Aug, 2018

  • 用神经注意力推断

    本文提出了一种新的神经模型，使用长短时记忆单元读取两个句子以确定蕴含关系，通过逐词的注意机制对每个单词和短语的蕴含进行推理，该模型在大型蕴含数据集上表现出了更好的性能，并且是第一个在文本蕴含数据集上实现最先进准确度的通用端到端可导系统。

    Sep, 2015