May, 2017

利用无监督树形 LSTMs 联合学习句子嵌入和句法

PDF
TL;DR该论文介绍了一种利用二进制语法树和 Tree-LSTM 组成的神经网络，可在自然语言图表解析器的帮助下同时优化组成函数和解析器，进而实现无监督的树形 RNN，并在文本蕴涵任务和反向字典任务中表现优越。
neural networkbinary parse treestree-lstmnatural language chart parsertextual entailment task
发现论文，激发创造
  • 神经网络中的树状结构组成，无需树状结构架构

    本论文通过对人工数据任务的实验，研究了基于树结构和基于序列的神经网络模型对于递归组合结构的应用效果。结果表明，基于序列的 LSTM 模型同样能够识别该结构并进行相应运用，但树结构模型在处理这种结构时表现更为出色。

    Jun, 2015

  • 树状长短期记忆网络改进语义表征

    介绍了 Tree-LSTM，一种适用于树状网络的 LSTM 结构，该系统表现优秀，可以应用于两个任务：预测两个句子的语义相关性和情感分类。

    Feb, 2015

  • 潜在树学习模型是否能够识别句子中的有意义结构？

    通过复制两种无监督学习句子语法结构的神经网络，本研究发现其中只有一种模型在对句子进行分类上表现更出色，但其分析策略随机性大、分析结果相较于常见的 Penn Treebank 结构更为浅显，并且与任何作者所知的语义或句法形式学不上相似。

    Sep, 2017

  • 利用树注意力改进 Tree-LSTM

    通过在 Tree-LSTM 单元中引入可分解注意力的变体，我们设计了一种广义的注意力框架，适用于依赖树和组成树结构，并在语义相关性任务中评估了模型，与不使用注意力的 Tree-LSTM 方法以及其他神经和非神经方法相比表现显著。

    Jan, 2019

  • 使用强化学习学习将单词组合成句子

    使用强化学习学习树形神经网络，以计算自然语言句子的表示形式。优化树形结构以提高下游任务的性能，实验证明学习任务特定的组合顺序的好处，优于基于树库注释的顺序编码器和递归编码器。分析所发现的树形结构，发现了一些语言直观的结构，但这些结构与传统的英语句法结构是不同的。

    Nov, 2016

  • 使用分层树 LSTM 进行简单优先级依赖解析

    本文提出了一种基于递归组合的循环神经网络编码器的分析树组合向量表示方法，将其作为贪心自底向上的依赖关系分析器的骨干，无需外部词嵌入，实现了英语和中文的最新精度。

    Mar, 2016

  • 自顶向下的树形长短期记忆网络

    本文提出了一种名为 Tree Long Short-Term Memory (TreeLSTM) 的神经网络模型，它基于 LSTM 并专门用于预测树结构，同时通过明确表示左右句法相关性，提高了建模能力。在 MSR 句子完成挑战和依存分析重排序方面的应用，都达到了当前最先进技术水平的效果。

    Oct, 2015

  • 使用有序神经元实现潜在树学习：其生成哪些句法结构？

    研究表明，使用 ON-LSTM 等模型进行自然语言处理，可以在没有人为注释的情况下学习组成句法分析，相对最佳状态的性能表现较好，但在解析内部结构更复杂的名词短语时存在困难，并可能高估在动词之前分割点的高度。我们推测采用不同于单向语言建模的训练任务可能有助于解决这两个问题。

    Oct, 2020

  • 具有头部词汇分割的双向树状 LSTM

    本文介绍了一种自动头部词汇化方法，用于树状 LSTM，使得头部单词从叶节点被传播到每个子节点，同时通过向上建立树 LSTM 对树结构进行更好地表示，取得了在 Standford 情感树库上最好的结果，并在 TREC 问题类型分类任务中具有高度竞争力的结果。

    Nov, 2016

  • 一种基于模仿学习的无监督解析方法

    我们提出了一种模仿学习的无监督句法分析方法，将 PRPN 诱导的句法知识转移到带有离散句法分析操作的 Tree-LSTM 模型上，并通过 Gumbel-Softmax 训练不断优化其策略以实现更好的语义目标。在 All-NLI 数据集上进行实验，证明我们的方法在句法得分上超过了基准模型，包括 PRPN。

    Jun, 2019