利用树注意力改进 Tree-LSTM
使用自注意力机制来诱导目标树结构,从而产生更好的语言模型,更可解释的注意力分数,并达到实验效果的 Transformer 变种 (Tree Transformer) 的提出。
Sep, 2019
本文提出了 “Hierarchy Accumulation” 的方法,将分析树结构编码为自注意力,以常数时间复杂度实现了序列模型,相较于 SOTA 方法,在四个 IWSLT 翻译任务和 WMT'14 英德翻译任务上表现更好,并在三项文本分类任务上胜过 Transformer 和 Tree-LSTM,同时表明使用分层先验可以补偿数据短缺,该模型更倾向于使用短语级别的自注意力。
Feb, 2020
本文提出了一种名为 Tree Long Short-Term Memory (TreeLSTM) 的神经网络模型,它基于 LSTM 并专门用于预测树结构,同时通过明确表示左右句法相关性,提高了建模能力。在 MSR 句子完成挑战和依存分析重排序方面的应用,都达到了当前最先进技术水平的效果。
Oct, 2015
本文提出了一种基于树形结构的注意力神经网络模型,用于情感分类问题。该模型使用自下向上和自上而下的信息传播结合语法树中节点周围的结构信息。模型在构建句法树时,利用结构注意力识别最显著的表示。实验结果表明,该模型在斯坦福情感树库数据集上实现了最先进的性能表现。
Jan, 2017
本文介绍了一种自动头部词汇化方法,用于树状 LSTM,使得头部单词从叶节点被传播到每个子节点,同时通过向上建立树 LSTM 对树结构进行更好地表示,取得了在 Standford 情感树库上最好的结果,并在 TREC 问题类型分类任务中具有高度竞争力的结果。
Nov, 2016
该论文介绍了一种利用二进制语法树和 Tree-LSTM 组成的神经网络,可在自然语言图表解析器的帮助下同时优化组成函数和解析器,进而实现无监督的树形 RNN,并在文本蕴涵任务和反向字典任务中表现优越。
May, 2017
研究基于序列的神经网络与基于树的网络在句法任务上的表现,并比较常见的句法表示方法对句法结构带来的影响,同时发现基于组成结构的网络更具鲁棒性,通过少量构建的数据 fine-tune 可以显着提高序列模型的性能,表明数据增强是为序列模型注入句法偏置的可行替代方案。
Apr, 2020
该论文探究了加入不同语言结构对神经机器翻译性能的影响,提出了一种能够自然生成目标端任意树形结构的神经机器翻译模型,并且发现无需任何语言知识构造的平衡二叉树结构具有最佳的性能提升,能够超过标准的 seq2seq 模型和其他引入目标端语法的方法,提高 2.1 个 BLEU 分数。
Aug, 2018