介绍了 Tree-LSTM,一种适用于树状网络的 LSTM 结构,该系统表现优秀,可以应用于两个任务:预测两个句子的语义相关性和情感分类。
Feb, 2015
通过在 Tree-LSTM 单元中引入可分解注意力的变体,我们设计了一种广义的注意力框架,适用于依赖树和组成树结构,并在语义相关性任务中评估了模型,与不使用注意力的 Tree-LSTM 方法以及其他神经和非神经方法相比表现显著。
Jan, 2019
本文提出了一种基于树结构的长短时记忆网络模型 S-LSTM,用于实现文本语义组合和自然语言理解,比现有基于递归的模型效果更佳。
Mar, 2015
该论文介绍了一种利用二进制语法树和 Tree-LSTM 组成的神经网络,可在自然语言图表解析器的帮助下同时优化组成函数和解析器,进而实现无监督的树形 RNN,并在文本蕴涵任务和反向字典任务中表现优越。
May, 2017
本文提出了一种名为 Tree Long Short-Term Memory (TreeLSTM) 的神经网络模型,它基于 LSTM 并专门用于预测树结构,同时通过明确表示左右句法相关性,提高了建模能力。在 MSR 句子完成挑战和依存分析重排序方面的应用,都达到了当前最先进技术水平的效果。
Oct, 2015
本研究提出了一种使用神经网络的模型,能够同时提取实体和它们之间的关系,并通过 LSTM-RNNs 进行优化,与现有的基于特征的模型相比,实现了较大的性能提升,并且在 nominal relation classification 方面与 CNN-based 的模型相比表现更好;还通过消融分析研究了多个模型组件和预处理对实验结果的影响。
Jan, 2016
该论文探究了加入不同语言结构对神经机器翻译性能的影响,提出了一种能够自然生成目标端任意树形结构的神经机器翻译模型,并且发现无需任何语言知识构造的平衡二叉树结构具有最佳的性能提升,能够超过标准的 seq2seq 模型和其他引入目标端语法的方法,提高 2.1 个 BLEU 分数。
Aug, 2018
本文提出了 “Hierarchy Accumulation” 的方法,将分析树结构编码为自注意力,以常数时间复杂度实现了序列模型,相较于 SOTA 方法,在四个 IWSLT 翻译任务和 WMT'14 英德翻译任务上表现更好,并在三项文本分类任务上胜过 Transformer 和 Tree-LSTM,同时表明使用分层先验可以补偿数据短缺,该模型更倾向于使用短语级别的自注意力。
Feb, 2020
本论文通过对人工数据任务的实验,研究了基于树结构和基于序列的神经网络模型对于递归组合结构的应用效果。结果表明,基于序列的 LSTM 模型同样能够识别该结构并进行相应运用,但树结构模型在处理这种结构时表现更为出色。
Jun, 2015
使用自注意力机制来诱导目标树结构,从而产生更好的语言模型,更可解释的注意力分数,并达到实验效果的 Transformer 变种 (Tree Transformer) 的提出。
Sep, 2019