递归非自回归图到图转换器用于具备迭代优化的依存句法分析

ACLMar, 2020

递归非自回归图到图转换器用于具备迭代优化的依存句法分析

Recursive Non-Autoregressive Graph-to-Graph Transformer for Dependency Parsing with Iterative Refinement

Alireza Mohammadshahi, James Henderson

TL;DR本文提出了一种基于递归非自回归图到图变换器 (RNGTr) 的架构，用于任意图的迭代细化，通过应用非自回归图到图变换器的递归应用，并将其应用于句法依赖解析上。我们使用使用 BERT 预训练的细化模型展示了 RNGTr 的强大和有效性。我们还介绍了一款类似于我们优化模型的非递归解析器 Syntactic Transformer (SynTr)。RNGTr 可以提高 13 种语言的各种初始解析器的准确性，包括 Universal Dependencies Treebanks，英语和中文 Penn Treebanks，以及德语 CoNLL2009 语料库，并且在所有测试数据上显著超越了最新的最优结果的表现。

Abstract

We propose the recursive non-autoregressive graph-to-graph transformer architecture (RNGTr) for the iterative refinement of arbitrary graphs through the recursive application of a non-autoregressive Graph-to-Graph Transformer and apply it to →

recursive non-autoregressive graph-to-graph transformer syntactic dependency parsing bert universal dependencies treebanks state-of-the-art

发现论文，激发创造

无监督循环神经网络语法

本文介绍利用无监督学习方法，采用变分推断的深度学习算法，成功地应用于语法树和句子的生成，在语言建模和语法识别领域已经有较广泛的应用。

Apr, 2019

一个用于依存图解析的半自回归图生成模型

本文针对现有神经依存分析模型中，autoregressive 和 non-autoregressive 模式的缺陷，提出了一种 semi-autoregressive 模型来提高句法分析的准确性。该模型在多种语言的实验中体现出较好的性能表现。

Jun, 2023

将句法和语义结构丰富非自回归变压器用于神经机器翻译

本研究旨在提高非自回归模型的神经机器翻译的效率和性能，通过将语言的句法和语义结构以及目标句子中的中间潜在对齐纳入一个非自回归 Transformer 模型。实验证明，该模型在速度上显著提高，与现有的多个最先进的非自回归模型相比，在保持翻译质量的同时表现突出。

Jan, 2021

混合回归神经机器翻译

本文提出了一种叫做混合回归翻译的翻译模型，它结合了自回归翻译和非自回归翻译模式的优势，通过在自回归过程中预测部分结果，再通过非自回归方式填充其余结果的方式，开发出了一种基于这两种模式的翻译模型，并对其效率和准确性进行了评估和比较。

Oct, 2022

递归树语法自编码器

本研究提出了一种称为递归树语法自编码器 (RTG-AE) 的自编码器方法，这种方法利用自上而下解析器对树进行编码，利用树语法对树进行解码，两者都是通过递归神经网络进行学习，从而最小化变分自编码器损失。这种方法将变分自编码器、语法知识和递归处理结合起来，能够优于任何两种元素的组合，能够在合成和真实数据集上提高自编码误差、训练时间和优化得分。

Dec, 2020

递归神经网络语法学习了什么？

通过对模型、数据进行改动以及嵌入注意力机制，研究表明 RNNG 模型中显式建模组成部分对于实现最佳性能至关重要；并通过注意力机制发现，头部性在短语表示中起着核心作用，而短语表示与非终结符的依附关系最小化支持了前缀假说。

Nov, 2016

使用束搜索在人类脑电图中发现句法

使用循环神经网络语法模型（RNNGs）解析自然文本时得到两个幅度效应，提供了句法处理的动力学模型，建议将 RNNG + beam search 组合作为人类语言理解过程中发生的句法处理的机械模型。

Jun, 2018

基于图的转换句法分析的图形变换器

我们提出了 Graph2Graph Transformer 架构，该架构用于对任意图进行条件和预测，并将其应用于具有挑战性的转换依赖分析任务中，这种新型基线结构可以集成许多以前的结构化预测方法，能够轻松应用于各种自然语言处理任务，同时在传统转换依赖分析中表现出较高的准确性。

Nov, 2019

RGAT: 从更深的角度研究句法依赖信息对于共指消解的作用

本文提出了一种将预训练的 BERT 与句法关系图注意力网络（RGAT）相结合的端到端解析器，用于深入研究句法依赖信息对于共指消解任务的作用。通过在公用的性别模糊代词（GAP）数据集上的实验，证明了在不微调整个 BERT 的情况下，我们将前一最佳模型（使用 BERT 的 RGCN）的 F1 分数从 80.3％提高到 82.5％，相对于单个 BERT 嵌入的 78.5％提高到 82.5％。在另一个公共数据集 OntoNotes 5.0 上的实验结果表明，该模型通过融入 RGAT 中学习到的句法依赖信息也能提高性能。

Sep, 2023

R2D2: 递归 Transformer 基于可微分树的可解释分层语言建模

本文提出了一种基于递归 Transformer 模型的分层过程的方法，并将双向语言模型预训练目标扩展到此体系结构，试图预测每个单词给定其左右抽象节点。实验结果表明，我们的方法在语言建模和无监督解析方面非常有效。

Jul, 2021