带结构感知标签表示的递归神经网络中的动态组合性
本文提出了一种 Tag-Guided HyperRecNN/TreeLSTM 模型来解决 Recursive Neural Network 模型在语义组合复杂性上存在的限制问题,并通过实验表明该模型在句子分类任务上表现优异。
Aug, 2018
本文提出了基于动态组合神经网络的树状神经网络 (DC-TreeNN),通过引入元网络动态生成组合函数,解决现有模型在组合过程中缺乏表达能力和容易欠拟合的问题,并在两个典型任务中取得了有效的实验结果。
May, 2017
利用深度循环神经网络的双向表示方法,将句子的二叉分析树作为结构信息,结合单词向量的初始表示方法,提出了一种可以捕捉输入附近的结构信息用于标记实例的新架构,并在情感表达提取任务上进行了初步实验。
Dec, 2013
本文提出了 Gumbel Tree-LSTM,一种动态学习如何高效地组成特定任务的树形结构的长短时记忆网络,可用于自然语言推理和情感分析任务中,并能与以前的模型相媲美甚至胜出,同时收敛速度更快。
Jul, 2017
本论文通过对人工数据任务的实验,研究了基于树结构和基于序列的神经网络模型对于递归组合结构的应用效果。结果表明,基于序列的 LSTM 模型同样能够识别该结构并进行相应运用,但树结构模型在处理这种结构时表现更为出色。
Jun, 2015
本文提出 Continuous Recursive Neural Network (CRvNN) 作为递归神经网络(RvNN)的可替换方案,以解决传统 RvNN 在处理序列中诱导潜在结构方面的局限性,并通过在潜在结构中引入连续松弛来改进该方案,从而在逻辑推理和自然语言处理等多项任务中取得了显著表现。
Jun, 2021
本文介绍了一种基于神经网络的贪心解析器,利用一种新的组合子树表示方法。该解析器和组合过程共同训练,且相互之间密切相关。使用连续(单词或标签)表示和循环神经网络进行组合和标记。我们在具有速度优势的同时获得了与众所周知的现有解析器相当的 F1 性能。
Dec, 2014
本文通过探究无监督条件下对成分结构的学习,提出了使用一种技术从堆叠循环神经网络的推送行为中提取句法树,证明堆叠循环神经网络确实推断出了具有语言学相关的层次结构。
Jun, 2019
本文提出了一种新型的神经语言模型 Parsing-Reading-Predict Networks(PRPN),利用其特定的神经网络结构能够自动识别未标注的句子的句法结构,并利用它来学习更好的语言模型。实验证明,该模型能够发现底层的句法结构,并在单词 / 字符水平的语言模型任务上取得了最先进水平。
Nov, 2017
本文比较了基于语法树递归生成表征的递归神经模型与基于序列生成表征的循环神经模型(包括简单循环和 LSTM 模型)在情感分类、问答匹配、话语解析和语义关系提取等 4 个任务上的效果,并提出一种将长句子分解为类从句单元再分别处理的方法以提高循环模型的性能。研究结果表明递归模型在头词之间相隔较远、序列较长的任务上可优于循环模型,同时也揭示了两类模型的局限性以及未来改进方向。
Feb, 2015