本文提出了一种名为 Tree Long Short-Term Memory (TreeLSTM) 的神经网络模型,它基于 LSTM 并专门用于预测树结构,同时通过明确表示左右句法相关性,提高了建模能力。在 MSR 句子完成挑战和依存分析重排序方面的应用,都达到了当前最先进技术水平的效果。
Oct, 2015
本文提出了一种基于树结构的长短时记忆网络模型 S-LSTM,用于实现文本语义组合和自然语言理解,比现有基于递归的模型效果更佳。
Mar, 2015
本论文通过对人工数据任务的实验,研究了基于树结构和基于序列的神经网络模型对于递归组合结构的应用效果。结果表明,基于序列的 LSTM 模型同样能够识别该结构并进行相应运用,但树结构模型在处理这种结构时表现更为出色。
Jun, 2015
本文提出了一种基于循环神经网络和长短时记忆单元的句子嵌入模型,该模型能够自动侦测句子中关键词和主题,从而进行网络文档检索等艰难的语言处理任务,并在性能上显著优于现有的先进方法。
Feb, 2015
本文提出了一种递归神经网络的扩展,使用了一种长短期记忆结构的变体。该扩展允许将位于解析树底部的信息存储在内存寄存器(“内存单元”)中,并在解析树的较高位置上使用。这提供了一个解决梯度消失问题并允许网络捕获长距离依赖的方案。实验结果表明,本文方案在斯坦福情感树库上的性能优于传统的神经网络组合。
本文介绍了一种基于 LSTM 的循环神经网络架构,用于训练大词汇量的语音识别声学模型,与传统的 RNN 和深度神经网络进行了比较。结果表明,LSTM 模型收敛速度快,对于相对较小的模型具有最先进的语音识别表现。
Feb, 2014
提出了一种基于树形记忆网络的序列映射模型,用于捕获长期和短期依赖关系,并在飞行轨迹建模和行人轨迹建模等实际问题中实现了较好的性能。
Mar, 2017
该论文介绍了一种利用二进制语法树和 Tree-LSTM 组成的神经网络,可在自然语言图表解析器的帮助下同时优化组成函数和解析器,进而实现无监督的树形 RNN,并在文本蕴涵任务和反向字典任务中表现优越。
May, 2017
本文介绍了一种自动头部词汇化方法,用于树状 LSTM,使得头部单词从叶节点被传播到每个子节点,同时通过向上建立树 LSTM 对树结构进行更好地表示,取得了在 Standford 情感树库上最好的结果,并在 TREC 问题类型分类任务中具有高度竞争力的结果。
Nov, 2016
通过在 Tree-LSTM 单元中引入可分解注意力的变体,我们设计了一种广义的注意力框架,适用于依赖树和组成树结构,并在语义相关性任务中评估了模型,与不使用注意力的 Tree-LSTM 方法以及其他神经和非神经方法相比表现显著。
Jan, 2019