Jul, 2017

通过注意力机制提炼原始句子表示，用于文本蕴含识别

PDF
TL;DR用 bidirectional LSTM 将一对句子分别编码成变长表示，再通过简单聚合函数创建固定长度的未经处理的表示。接着使用注意机制对这些表示进行细化处理。最后，将两个句子的细化表示相结合成为一个用于分类的向量，并且使用集成方法来提高模型的准确性，最终比 LSTM 基线表现更好，类似于 ESIM 模型的表现。
bidirectional lstmattention mechanismsentence representationclassificationensemble
发现论文，激发创造
  • 基于门控注意力机制的循环神经网络句子编码器在自然语言推理中的应用

    本文介绍了一个系统 (alpha)，使用神经网络将一句话表示为固定长度向量，用自然语言推理任务来测试该表征的质量，以参加 RepEval 2017 共享任务。该模型在领域内测试集和跨领域测试集上均获得了 74.9% 的精度，并在句内门控注意力组合和自然语言推理方面具有优异的表现，同时在斯坦福自然语言推理（SNLI）数据集上获得了 85.5% 的精度。

    Aug, 2017

  • RepEval 2017 共享任务：基于句子表示的多体裁自然语言推断

    本文介绍了 RepEval 2017 共享任务的结果，该任务评估了神经网络句子表示学习模型在 MultiNLI 语料库上的表现。结果表明，所有五个参赛团队都击败了以前的标记方法。最佳单一模型使用堆叠 BiLSTM 和残差连接来提取句子特征，并在与体裁匹配的测试集上达到了 74.5% 的准确率。结果表明，提交的所有系统对于句子意义的领域独立表示都有着合理的学习能力。

    Jul, 2017

  • 使用双向 LSTM 模型和内在注意力学习自然语言推理

    该论文提出了一种基于句子编码技术的模型，通过使用双向 LSTM 进行单词级别的平均池化生成第一阶段的句子表示，并采用注意力机制替代平均池化，以更好地表示文本蕴含关系。最终，通过对斯坦福自然语言推理语料库的实验验证了该模型具有较少的参数以及比现有最佳的句子编码方法更高的性能。

    May, 2016

  • DisSent: 显式语篇关系的句子表征学习

    利用依存分析和基于规则的指标，我们能够通过利用显式的篇章关系来筛选高质量的句子关系任务，从而得出高质量的句子嵌入向量及用作 BERT 等更大型模型的监督微调数据集。

    Oct, 2017

  • 关于相关性和蕴含的句子嵌入联合学习

    研究了在信息检索中识别文本蕴含问题的模型，使用了多种变量的神经网络模型，提出了基本的蕴含证据集成模型并展示了其有效性，同时引入了一个基准数据集并在其上进行了实验，并应用该模型于多选题答案排序任务达到了最新的研究效果。

    May, 2016

  • 深度强化学习模型用于摘要生成

    提出了一种基于编码器 - 解码器和 RNN 的自注意力神经网络模型，通过组合监督和强化学习来训练和生成连贯性和可读性更强的长文摘要，与目前最先进模型相比，在 CNN / Daily Mail 数据集上取得了 41.16 的 ROUGE-1 得分，并且人工评估表明我们的模型产生了更高质量的摘要。

    May, 2017

  • 迭代精化编码器中的自然语言推理句子嵌入

    本研究提出了一种双向长短时记忆网络（BiLSTM）和最大池化层的分层策略，为各种自然语言处理任务提供高效的分层表征，并在多项评估任务中超越 InferSent 和 SkipThought，特别是在评估句子表征中语言特性捕捉的能力方面，优于 InferSent 模型。

    Aug, 2018

  • 一种结构化的自注意句子嵌入

    本文提出了一种基于自注意力机制的句子嵌入模型，通过使用二维矩阵表示嵌入，并让每行矩阵分别关注句子中不同的部分，提高了可解释性。并在作者分析、情感分类和文本蕴含等三个任务中进行了模型评估，在所有任务中与其它句子嵌入方法相比表现出了显著的性能提升。

    Mar, 2017

  • 基于知识增强的双层注意力网络用于情感分析

    本研究提出了一种基于双向长短期记忆的新型两层注意网络，利用 WordNet 生成知识图嵌入来提高情感分析的预测能力，将其与基于支持向量回归和多层感知机网络的监督模型相结合，实验结果表明该模型在 SemEval 2017 上表现优于顶尖系统，分别将 Sub-tracks 1 和 2 的准确率提高了 1.7 和 3.7 个百分点。

    May, 2018

  • 使用长短期记忆网络的深度句子嵌入：分析和在信息检索中的应用

    本文提出了一种基于循环神经网络和长短时记忆单元的句子嵌入模型，该模型能够自动侦测句子中关键词和主题，从而进行网络文档检索等艰难的语言处理任务，并在性能上显著优于现有的先进方法。

    Feb, 2015