ICLRSep, 2015

用神经注意力推断

PDF
TL;DR本文提出了一种新的神经模型，使用长短时记忆单元读取两个句子以确定蕴含关系，通过逐词的注意机制对每个单词和短语的蕴含进行推理，该模型在大型蕴含数据集上表现出了更好的性能，并且是第一个在文本蕴含数据集上实现最先进准确度的通用端到端可导系统。
entailment recognitionneural networkslong short-term memoryword attention mechanismtextual entailment dataset
发现论文，激发创造
  • 结构化注意力与合成的文本蕴含

    本文研究了使用子树级别的 attention 模型进行文本蕴含任务，相比基于硬对齐和逻辑的传统模型具有更强鲁棒性和更高准确度，并且扩展 attention 模型到树节点可以更好地利用语法和递归信息提高准确度。

    Jan, 2017

  • 关于相关性和蕴含的句子嵌入联合学习

    研究了在信息检索中识别文本蕴含问题的模型，使用了多种变量的神经网络模型，提出了基本的蕴含证据集成模型并展示了其有效性，同时引入了一个基准数据集并在其上进行了实验，并应用该模型于多选题答案排序任务达到了最新的研究效果。

    May, 2016

  • 生成自然语言推断链

    该论文提出了一项新的任务，即通过一个源句子生成一个蕴含的句子，使用带有关注力的 LSTM 模型对斯坦福自然语言推理语料库的蕴含对进行训练，在手动注释的测试集上，82% 的生成句子是正确的，还使用递归方法生成自然语言推理链，从而自动构造了一个蕴含图。

    Jun, 2016

  • 通过经验文本表示的语义特征实现文本蕴涵识别

    本文提出了一种新的基于阈值的语义文本表示方法，并结合机器学习算法应用语义和词汇特征对文本 - 假设对进行分类，该技术有效地丰富了文本的语义信息，在文字蕴涵分类任务中在意义理解方面的表现明显优于已知方法

    Oct, 2022

  • 神经网络能否理解逻辑蕴涵关系？

    介绍了一个新的逻辑蕴涵的数据集，用于测量模型在逻辑表达式的结构方面捕捉和利用的能力，比较了多个体系结构以及一个新的模型类 PossibleWorldNets，并表明卷积网络在这类问题上呈现了错误的归纳偏差，相对于 LSTM RNNs，树状神经网络由于其增强了利用逻辑语法的能力而优于 LSTM RNNs，而 PossibleWorldNets 优于所有基准。

    Feb, 2018

  • 通过符号模型弥合神经蕴含中的知识差距

    本文介绍了一种使用外部结构化知识库填补科学知识差距的模型，将标准神经模型与知识查找模块相结合，在使用科学知识库和文本先验信息验证子事实后，NSnet 模型在 SciTail 数据集上比基准模型性能提高了 5%。

    Aug, 2018

  • 基于双向 LSTM 网络和注意力机制的语义关系分类与潜在实体类型识别

    本文提出了一种新颖的端到端循环神经模型，结合了实体感知的注意力机制和潜在实体类型（LET）方法，以解决语义关系分类任务中现有模型对高级语义和句法特征的过度依赖和未充分利用实体信息等问题。在 SemEval-2010 任务 8 上的实验结果表明，该模型在无需高级特征的情况下胜过现有最先进的模型。

    Jan, 2019

  • 基于知识增强的双层注意力网络用于情感分析

    本研究提出了一种基于双向长短期记忆的新型两层注意网络，利用 WordNet 生成知识图嵌入来提高情感分析的预测能力，将其与基于支持向量回归和多层感知机网络的监督模型相结合，实验结果表明该模型在 SemEval 2017 上表现优于顶尖系统，分别将 Sub-tracks 1 和 2 的准确率提高了 1.7 和 3.7 个百分点。

    May, 2018

  • 偏执是强健的自学习者

    本研究设计了一种提示策略，将多个 NLU 任务作为上下文蕴含进行推断，并提出了简单伪标签编辑算法（SimPLE）以提高自我训练的伪标签质量，在二分类和多分类分类任务上进行的实验表明，自我训练蕴含模型在语言理解任务上比大型语言模型更有效和可信。

    May, 2023

  • 通过神经注意力机制实现从语言到逻辑形式的转换

    本研究提出了一种基于注意力增强的编码器 - 解码器模型的通用方法，旨在消除传统方法所需的高质量词汇表、手工构建的模板和语言特征等问题，并可在不同领域和意义表示之间进行易于调整的转化，实验结果表明，该方法在不使用手工特征的情况下表现出了较强的竞争力。

    Jan, 2016