使用束搜索在人类脑电图中发现句法
通过对模型、数据进行改动以及嵌入注意力机制,研究表明 RNNG 模型中显式建模组成部分对于实现最佳性能至关重要;并通过注意力机制发现,头部性在短语表示中起着核心作用,而短语表示与非终结符的依附关系最小化支持了前缀假说。
Nov, 2016
本文提出了基于批处理的 RNN-Grammar 训练方法,并借助 PyTorch 实现在 GPU 上显著加速训练和推断过程,并在大规模的训练数据集和广泛的句法评估基准测试中验证了批处理 RNN-Grammar 的性能优势。
May, 2021
本文调查了上下文中的分层结构对语言模型的人类化作用,并论证了用左角解析策略的分层模型比顺序模型和自上而下解析策略的分层模型更具有认知可信度,进一步探讨了认知可信度与 perplexity、解析和 beam size 之间的关系。
Sep, 2021
本文提出了第一个用生成模型进行 RST 解析的文档级 RNN 语法,通过一种新的 beam search 算法,在而不展示左分支的偏差下,在未标注和标注的 F1 值上分别提高 6.8 和 2.9,超越了所有不使用额外训练数据的最新复制研究中发布的解析器,并且优于具有相同特征的判别模型 2.6F1 分。
Sep, 2019
本研究介绍了递归神经网络语法与其使用的高效推理过程,分别应用于句法分析和语言模型,实验结果表明在英文的句法分析和英汉语言模型方面,其效果均优于所有以前发表的有监督生成模型和最先进的序列 RNNs。
Feb, 2016
提出了一种基于 NSR 的神经符号递归机制,通过感知、语法解析和语义推理三个模块的联合学习来实现优越的系统化推广,并通过三个不同领域的基准测试取得了 state-of-the-art 的表现结果。
Oct, 2022
本文提出了一种名为 NMT+RNNG 的混合模型,它将循环神经网络语法与基于注意力的神经机器翻译相结合,通过训练鼓励神经机器翻译模型吸收语言先验知识,并在其后进行自主翻译。4 种语言配对的实验表明该模型非常有效。
Feb, 2017
我们介绍了一种利用循环神经网络语法编码器和新颖的注意力递归神经网络解码器的模型,利用策略梯度强化学习来在源语言和目标语言上诱导无监督树结构,从而训练出在字符级数据集中相当不错的分割和浅层解析表现,接近注意力基准。
Sep, 2017