ACLJul, 2016

用于文本理解的神经树索引器

PDF
TL;DR本文提出了一种不依赖于语法分析的树形模型，名为 Neural Tree Indexers，该模型可以以自底而上的方式处理输入的文本，从而构建完整的 n 叉树，其中包括结构和节点功能，借助注意机制，该模型在自然语言推理、答案句子选择和句子分类等三个不同的 NLP 任务上的表现超越了现有的 RNN 和递归神经网络。
neural tree indexersrecursive networkssyntactic parsingn-ary treeattention mechanism
发现论文，激发创造
  • 用双向递归神经网络进行具有结构的标记的令牌级别标注

    利用深度循环神经网络的双向表示方法，将句子的二叉分析树作为结构信息，结合单词向量的初始表示方法，提出了一种可以捕捉输入附近的结构信息用于标记实例的新架构，并在情感表达提取任务上进行了初步实验。

    Dec, 2013

  • 基于自顶向下树形解码与句法连接的神经机器翻译与句法分析

    本文提出了一种基于 DRNN 的序列到树的 NMT 模型 (称为 Seq2DRNN)，该模型在树结构解码中结合了序列编码器和句法感知机制，并使用语法结构信息从而能够生成更流畅的翻译结果，同时可以进行成分句法分析。

    Sep, 2018

  • 何时对于深度学习表示学习需要树形结构？

    本文比较了基于语法树递归生成表征的递归神经模型与基于序列生成表征的循环神经模型（包括简单循环和 LSTM 模型）在情感分类、问答匹配、话语解析和语义关系提取等 4 个任务上的效果，并提出一种将长句子分解为类从句单元再分别处理的方法以提高循环模型的性能。研究结果表明递归模型在头词之间相隔较远、序列较长的任务上可优于循环模型，同时也揭示了两类模型的局限性以及未来改进方向。

    Feb, 2015

  • 基于树结构的神经机器翻译解码器

    该论文探究了加入不同语言结构对神经机器翻译性能的影响，提出了一种能够自然生成目标端任意树形结构的神经机器翻译模型，并且发现无需任何语言知识构造的平衡二叉树结构具有最佳的性能提升，能够超过标准的 seq2seq 模型和其他引入目标端语法的方法，提高 2.1 个 BLEU 分数。

    Aug, 2018

  • 神经网络中的树状结构组成，无需树状结构架构

    本论文通过对人工数据任务的实验，研究了基于树结构和基于序列的神经网络模型对于递归组合结构的应用效果。结果表明，基于序列的 LSTM 模型同样能够识别该结构并进行相应运用，但树结构模型在处理这种结构时表现更为出色。

    Jun, 2015

  • 带结构感知标签表示的递归神经网络中的动态组合性

    提出一种考虑语法标签的递归神经网络 (RvNN) 架构，通过引入结构感知的标签表示，可以控制现有单词级树 LSTM 的组合函数，进而在情感分析和自然语言推理等句子级任务中取得了较优或有竞争力的表现。

    Sep, 2018

  • 用于改进情感分析的结构化注意力神经网络

    本文提出了一种基于树形结构的注意力神经网络模型，用于情感分类问题。该模型使用自下向上和自上而下的信息传播结合语法树中节点周围的结构信息。模型在构建句法树时，利用结构注意力识别最显著的表示。实验结果表明，该模型在斯坦福情感树库数据集上实现了最先进的性能表现。

    Jan, 2017

  • 分层信息的重要性：基于树型图神经网络的文本分类

    本篇论文研究了利用树形图编码模型进行文本分类，通过对网络结构的最小化熵的优化，提出了一种 HINT 模型，借助树形结构的层次性信息来提升文本分类效果，最终实验结果表明，在流行基准上 HINT 能够明显优于现有的最先进模型。

    Oct, 2021

  • 通过词性标注学习在树形结构上进行组合

    本文提出了一种 Tag-Guided HyperRecNN/TreeLSTM 模型来解决 Recursive Neural Network 模型在语义组合复杂性上存在的限制问题，并通过实验表明该模型在句子分类任务上表现优异。

    Aug, 2018

  • 使用连续递归神经网络建模分层结构

    本文提出 Continuous Recursive Neural Network (CRvNN) 作为递归神经网络（RvNN）的可替换方案，以解决传统 RvNN 在处理序列中诱导潜在结构方面的局限性，并通过在潜在结构中引入连续松弛来改进该方案，从而在逻辑推理和自然语言处理等多项任务中取得了显著表现。

    Jun, 2021