EMNLPAug, 2018

树形神经句子建模

PDF
TL;DR本文研究了将基于树的句子编码器中的句法分析树替换成平衡二叉树、左 - 分支树和右 - 分支树等简单树的有效性；结果表明，在没有句法信息的情况下，基于这些简单树的编码器在大多数下游任务中具有竞争力甚至更好的性能，这表明显式的句法指导可能不是基于树的神经句子建模方法表现出色的主要贡献者。
neural networkstree-based sentence encoderssyntactic parsing treestrivial treesdownstream tasks
发现论文，激发创造
  • 基于树结构的神经机器翻译解码器

    该论文探究了加入不同语言结构对神经机器翻译性能的影响，提出了一种能够自然生成目标端任意树形结构的神经机器翻译模型，并且发现无需任何语言知识构造的平衡二叉树结构具有最佳的性能提升，能够超过标准的 seq2seq 模型和其他引入目标端语法的方法，提高 2.1 个 BLEU 分数。

    Aug, 2018

  • 利用语法感知编码器和解码器实现改进的神经机器翻译

    本研究致力于改进基于编码器 - 解码器框架的神经机器翻译模型，通过显式地结合源侧语法树，在两种结构化表示（顺序和树）之间进行学习，提出具有树覆盖模型和双向树编码器的翻译模型，并证实优于其他基线模型。

    Jul, 2017

  • 潜在树学习模型是否能够识别句子中的有意义结构？

    通过复制两种无监督学习句子语法结构的神经网络，本研究发现其中只有一种模型在对句子进行分类上表现更出色，但其分析策略随机性大、分析结果相较于常见的 Penn Treebank 结构更为浅显，并且与任何作者所知的语义或句法形式学不上相似。

    Sep, 2017

  • 何时对于深度学习表示学习需要树形结构？

    本文比较了基于语法树递归生成表征的递归神经模型与基于序列生成表征的循环神经模型（包括简单循环和 LSTM 模型）在情感分类、问答匹配、话语解析和语义关系提取等 4 个任务上的效果，并提出一种将长句子分解为类从句单元再分别处理的方法以提高循环模型的性能。研究结果表明递归模型在头词之间相隔较远、序列较长的任务上可优于循环模型，同时也揭示了两类模型的局限性以及未来改进方向。

    Feb, 2015

  • 利用无监督树形 LSTMs 联合学习句子嵌入和句法

    该论文介绍了一种利用二进制语法树和 Tree-LSTM 组成的神经网络，可在自然语言图表解析器的帮助下同时优化组成函数和解析器，进而实现无监督的树形 RNN，并在文本蕴涵任务和反向字典任务中表现优越。

    May, 2017

  • 基于自顶向下树形解码与句法连接的神经机器翻译与句法分析

    本文提出了一种基于 DRNN 的序列到树的 NMT 模型 (称为 Seq2DRNN)，该模型在树结构解码中结合了序列编码器和句法感知机制，并使用语法结构信息从而能够生成更流畅的翻译结果，同时可以进行成分句法分析。

    Sep, 2018

  • 使用树形编码的 Transformer 实现神经程序生成

    使用树形定位编码方案，结合自然语言分词词汇表，在编码任务中应用 Transformers 所能获得更好的效果

    May, 2022

  • 基于树形结构注意力编码器的句对建模

    本文介绍了一种关注编码器，结合了树状递归神经网络和序列循环神经网络，用于对模拟句子对。我们的关注编码器将 RNN 生成的一个句子的表示用于指导另一个句子的结构编码，评估结果表明，在语义相似度和释义选择方面，我们的编码器优于所有基线，并取得了最佳结果。

    Oct, 2016

  • 结构化句法树嵌入在机器理解中的应用

    本篇论文提出了一种基于结构嵌入的句法树算法框架 (SEST)，利用句法树结构信息编码为向量表示，以增强机器阅读理解算法的性能。实验结果表明，该模型能够准确地识别句子的句法边界，并比基线算法更准确地提取句法连贯的答案。

    Mar, 2017

  • 树结构中的句子生成

    通过生成具有树遍历顺序的目标句子的新方法，本研究旨在提高现有系统的性能。此外，还引入了一个名为 SenTree 的模块来生成近似二叉树，并提出了一个基于该方法的联合训练框架，结合生成对抗网络的内在机制。

    Jun, 2024