ACLFeb, 2019

基于 LSTM 的依存句法递归子树组成

PDF
TL;DR研究神经依赖解析中树形结构模型需要在序列模型之上添加的必要性，通过双向 LSTM 提取的特性进行了模型基础，证明前向 LSTM 和组合提取相似信息并且组合提取更适用于基于转移的解析器。
发现论文，激发创造
  • LSTMs 自下而上地组合（和学习）

    本研究利用基于门控交互的 LSTM 拆分相依度 DI 度量，探索 LSTM 构成性行为的序列表现层次结构，发现 DI 与语法距离有关；为探索这些构成性表现在训练过程中的归纳偏差，进行了简单的合成数据实验，支持一种关于如何自底向上学习层次结构的假设。

    Oct, 2020

  • 神经网络中的树状结构组成，无需树状结构架构

    本论文通过对人工数据任务的实验，研究了基于树结构和基于序列的神经网络模型对于递归组合结构的应用效果。结果表明，基于序列的 LSTM 模型同样能够识别该结构并进行相应运用，但树结构模型在处理这种结构时表现更为出色。

    Jun, 2015

  • 利用无监督树形 LSTMs 联合学习句子嵌入和句法

    该论文介绍了一种利用二进制语法树和 Tree-LSTM 组成的神经网络，可在自然语言图表解析器的帮助下同时优化组成函数和解析器，进而实现无监督的树形 RNN，并在文本蕴涵任务和反向字典任务中表现优越。

    May, 2017

  • 使用分层树 LSTM 进行简单优先级依赖解析

    本文提出了一种基于递归组合的循环神经网络编码器的分析树组合向量表示方法，将其作为贪心自底向上的依赖关系分析器的骨干，无需外部词嵌入，实现了英语和中文的最新精度。

    Mar, 2016

  • 利用树注意力改进 Tree-LSTM

    通过在 Tree-LSTM 单元中引入可分解注意力的变体，我们设计了一种广义的注意力框架，适用于依赖树和组成树结构，并在语义相关性任务中评估了模型，与不使用注意力的 Tree-LSTM 方法以及其他神经和非神经方法相比表现显著。

    Jan, 2019

  • 使用双向 LSTM 特征表示进行简单准确的依存句法分析

    使用双向 LSTM 神经网络构建特征向量，在依存句法分析中实现最新的结果。

    Mar, 2016

  • 具有头部词汇分割的双向树状 LSTM

    本文介绍了一种自动头部词汇化方法，用于树状 LSTM，使得头部单词从叶节点被传播到每个子节点，同时通过向上建立树 LSTM 对树结构进行更好地表示，取得了在 Standford 情感树库上最好的结果，并在 TREC 问题类型分类任务中具有高度竞争力的结果。

    Nov, 2016

  • 具有堆栈长短期记忆的基于转移的依赖句法分析

    该文提出了一种新的序列到序列神经网络控制结构 —— 堆栈 LSTM，用于学习过渡式依赖解析器的解析状态，将其应用于解析模型中，实现了解析器状态的三个方面，提高了解析性能。

    May, 2015

  • 树结构上的长短期记忆

    本文提出了一种基于树结构的长短时记忆网络模型 S-LSTM，用于实现文本语义组合和自然语言理解，比现有基于递归的模型效果更佳。

    Mar, 2015

  • 何时对于深度学习表示学习需要树形结构？

    本文比较了基于语法树递归生成表征的递归神经模型与基于序列生成表征的循环神经模型（包括简单循环和 LSTM 模型）在情感分类、问答匹配、话语解析和语义关系提取等 4 个任务上的效果，并提出一种将长句子分解为类从句单元再分别处理的方法以提高循环模型的性能。研究结果表明递归模型在头词之间相隔较远、序列较长的任务上可优于循环模型，同时也揭示了两类模型的局限性以及未来改进方向。

    Feb, 2015