Sep, 2023

RGAT: 从更深的角度研究句法依赖信息对于共指消解的作用

PDF
TL;DR本文提出了一种将预训练的 BERT 与句法关系图注意力网络（RGAT）相结合的端到端解析器，用于深入研究句法依赖信息对于共指消解任务的作用。通过在公用的性别模糊代词（GAP）数据集上的实验，证明了在不微调整个 BERT 的情况下，我们将前一最佳模型（使用 BERT 的 RGCN）的 F1 分数从 80.3％提高到 82.5％，相对于单个 BERT 嵌入的 78.5％提高到 82.5％。在另一个公共数据集 OntoNotes 5.0 上的实验结果表明，该模型通过融入 RGAT 中学习到的句法依赖信息也能提高性能。
syntactic informationcoreference resolutionbertsyntactic relation graph attention networksyntactic dependency graph
发现论文，激发创造
  • GATology 在语言学中的应用：它能识别哪些句法依存关系

    本文研究了 Graph Attention Network 在机器翻译中的应用，通过设计一个依赖关系预测任务，研究了 GAT 如何学习三种语言的语法知识，结果表明当 GAT 层数适当增加，可以获得更好的性能并保持训练速度更快和更有竞争力的语法依赖预测能力。

    May, 2023

  • 重新审视句法结构：基于关系图卷积网络的性别歧视指代消解

    本文在结构句法的监督下，通过将预训练 BERT 与关系图卷积网络 (R-GCN) 相结合，提出了一种端到端的关联分辨器，R-GCN 的嵌入在指代任务上优于 BERT 的原始嵌入，从而将 GAP 数据集上的片段 - 上下文基线 F1 分数显著提高了 13.4 个百分点， 解决了现有的指代分辨器存在的性别偏差问题。

    May, 2019

  • 利用 BERT 和图注意力实现机器翻译的句法知识

    通过图注意力模型与 BERT 共同表示源语言的句法依赖特征，以丰富源语言的表示并指导目标语言生成，提出了用 SGB 在机器翻译中获取句法知识。这个模型的实验显示，在不损失 BLEU 得分的情况下，可以提高翻译质量，同时探索了句子长度对此的影响以及 GAT 识别的依赖关系。

    May, 2023

  • 基于关系图注意力网络的基于方面的情感分析

    本文通过有效的句法信息编码，以新的树形结构对情感识别进行了研究，提出了关系图注意力网络（R-GAT）并在 SemEval 2014 数据集和 Twitter 数据集上进行了广泛实验，结果表明我们的方法可以更好地建立方面和意见词之间的联系，并且图注意力网络（GAT）的表现得到了显著提高。

    Apr, 2020

  • Co-GAT: 一种用于对话行为识别和情感分类的交互式图注意力网络

    本文提出了一种基于共交互图注意网络（Co-GAT）的方法，通过同时考虑上下文信息和相互作用信息来完成对话行为识别和情感分类任务，实现了两种信息类型的全面融合。实验结果表明，在两个公开数据集上，该方法成功捕捉了两种信息来源，并取得了领先的性能。此外，本文还发现，本文所提出的相互作用信息对于诸如 BERT、Roberta 和 XLNet 等已有的文本编码矩阵并不完全重叠。

    Dec, 2020

  • 基于图神经网络的句法感知方面级情感分类

    本文提出了一种基于目标相关性的图形注意网络（TD-GAT），以在对句子的句法结构进行显式利用的基础上实现对方面级别情感分类的准确识别，并使用 BERT 表示进一步提高了性能。

    Sep, 2019

  • BiSyn-GAT +: 面向方面情感分析的双语法感知图注意力网络

    文章提出了一种称为 BiSyn-GAT + 的新方法，用于解决传统基于依赖树的 Aspect-Based 情感分析方法的噪声干扰问题，该方法通过完全利用句子的依存树特征，包括短语分割和层次结构，来建模情感感知单个方面的上下文和跨方面的情感关系。通过实验证明，该方法对于 Aspect-Based 情感分析的四种基准数据集均优于现有的最先进方法。

    Apr, 2022

  • 语法树能帮助预训练 Transformer 提取信息吗？

    本文研究如何将依存树信息合并到预训练的 Transformer 模型中以提高信息提取任务的性能，在语义角色标注和关系抽取任务上，采用两种相似但不同的模型设计策略，通过实证研究发现这些语法增强的 Transformer 模型的性能提高取决于依存关系解析的质量。

    Aug, 2020

  • 基于依存结构的多粒度标签细化网络，用于联合意图检测和槽位填充

    本文提出一种基于依存结构和标签语义嵌入的多粒度标签精炼网络，利用图注意层介绍了句子的依存结构来增强句法表示，通过注意机制将任务特定的特征与相应的标签嵌入相结合捕获语法信息和任务标签之间的语义依赖关系。在两个公共数据集上的实验结果表明，我们的模型取得了竞争性能。

    Sep, 2022

  • 关系感知语言 - 图变换器用于问答

    提出了一种可以利用 KG 丰富的关系信息和 LM 之间有限的交互方式，联合处理自然语言和图表信息的方法，并通过 CommonsenseQA 和 OpenBookQA 等数据集的验证，在所有数据集上都取得了最先进的性能。

    Dec, 2022