NIPSJun, 2015

神经网络中的树状结构组成，无需树状结构架构

PDF
TL;DR本论文通过对人工数据任务的实验，研究了基于树结构和基于序列的神经网络模型对于递归组合结构的应用效果。结果表明，基于序列的 LSTM 模型同样能够识别该结构并进行相应运用，但树结构模型在处理这种结构时表现更为出色。
tree-structured neural networksrecursive compositional structurelstm-based sequence modeltree modelsnetwork design
发现论文，激发创造
  • 树状长短期记忆网络改进语义表征

    介绍了 Tree-LSTM，一种适用于树状网络的 LSTM 结构，该系统表现优秀，可以应用于两个任务：预测两个句子的语义相关性和情感分类。

    Feb, 2015

  • 树结构上的长短期记忆

    本文提出了一种基于树结构的长短时记忆网络模型 S-LSTM，用于实现文本语义组合和自然语言理解，比现有基于递归的模型效果更佳。

    Mar, 2015

  • 使用强化学习学习将单词组合成句子

    使用强化学习学习树形神经网络，以计算自然语言句子的表示形式。优化树形结构以提高下游任务的性能，实验证明学习任务特定的组合顺序的好处，优于基于树库注释的顺序编码器和递归编码器。分析所发现的树形结构，发现了一些语言直观的结构，但这些结构与传统的英语句法结构是不同的。

    Nov, 2016

  • 学习构建任务特定的树状结构

    本文提出了 Gumbel Tree-LSTM，一种动态学习如何高效地组成特定任务的树形结构的长短时记忆网络，可用于自然语言推理和情感分析任务中，并能与以前的模型相媲美甚至胜出，同时收敛速度更快。

    Jul, 2017

  • 利用无监督树形 LSTMs 联合学习句子嵌入和句法

    该论文介绍了一种利用二进制语法树和 Tree-LSTM 组成的神经网络，可在自然语言图表解析器的帮助下同时优化组成函数和解析器，进而实现无监督的树形 RNN，并在文本蕴涵任务和反向字典任务中表现优越。

    May, 2017

  • 树结构上的动态组合神经网络

    本文提出了基于动态组合神经网络的树状神经网络 (DC-TreeNN)，通过引入元网络动态生成组合函数，解决现有模型在组合过程中缺乏表达能力和容易欠拟合的问题，并在两个典型任务中取得了有效的实验结果。

    May, 2017

  • 通过词性标注学习在树形结构上进行组合

    本文提出了一种 Tag-Guided HyperRecNN/TreeLSTM 模型来解决 Recursive Neural Network 模型在语义组合复杂性上存在的限制问题，并通过实验表明该模型在句子分类任务上表现优异。

    Aug, 2018

  • 何时对于深度学习表示学习需要树形结构？

    本文比较了基于语法树递归生成表征的递归神经模型与基于序列生成表征的循环神经模型（包括简单循环和 LSTM 模型）在情感分类、问答匹配、话语解析和语义关系提取等 4 个任务上的效果，并提出一种将长句子分解为类从句单元再分别处理的方法以提高循环模型的性能。研究结果表明递归模型在头词之间相隔较远、序列较长的任务上可优于循环模型，同时也揭示了两类模型的局限性以及未来改进方向。

    Feb, 2015

  • 自顶向下的树形长短期记忆网络

    本文提出了一种名为 Tree Long Short-Term Memory (TreeLSTM) 的神经网络模型，它基于 LSTM 并专门用于预测树结构，同时通过明确表示左右句法相关性，提高了建模能力。在 MSR 句子完成挑战和依存分析重排序方面的应用，都达到了当前最先进技术水平的效果。

    Oct, 2015

  • 基于 LSTM 的依存句法递归子树组成

    研究神经依赖解析中树形结构模型需要在序列模型之上添加的必要性，通过双向 LSTM 提取的特性进行了模型基础，证明前向 LSTM 和组合提取相似信息并且组合提取更适用于基于转移的解析器。

    Feb, 2019