AAAIOct, 2020

GATE: 跨语言关系和事件抽取的图注意力 Transformer 编码器

PDF
TL;DR该研究介绍了一种称为 GATE 的图形注意变压器编码器，利用自我关注机制来学习同时考虑不同句法距离下单词之间依赖关系的表示，在跨语言关系和事件提取任务中表现出优异的性能。
cross-lingual relationevent extractiongraph attention transformer encoderself-attention mechanismsyntactic dependencies
发现论文，激发创造
  • 图注意力自编码器

    本文提出了一种名为 GATE 的神经网络结构，用于对图结构数据进行无监督表示学习，结合了自我注意机制，通过编码器 / 解码器层实现图结构输入和节点属性的重构，定量地评估在许多节点分类基准数据集上的表现。

    May, 2019

  • 用于句法感知神经机器翻译的图卷积编码器

    这篇研究论文介绍了一种简单有效的方法来将句法结构融入到神经注意力编码解码模型中，以实现机器翻译。文中使用了预测的源句子句法依赖树，用于生成敏感于句法周边的单词表示，以达到最佳效果。研究的实验结果表明，在英德翻译和英捷翻译方面的所有设置中，与其不考虑语法结构的版本相比，该方法均有显著的改善。

    Apr, 2017

  • 图外部注意力增强变换器

    Transformer 的图表示学习中，通过引入 Graph External Attention 提出了一种新的关注机制来隐式捕捉图之间的相关性，进而用于设计了更全面的图表示框架 GEAET。通过在基准数据集上进行的实验证明，GEAET 达到了最先进的经验性能。

    May, 2024

  • 基于图的 Transformer 模型：注意力机制是否足够？

    提出了一种基于 Transformer 的 GRAP-Aware Transformer（GRAT）神经网络模型，利用自注意机制自适应地处理整个图的编码和解码，经过多种实验验证，其在 QM9 数据集的分子属性预测等任务上表现出了领先水平。

    Jun, 2020

  • 基于自注意力增强和实体感知嵌入的选择性门，用于远程监督关系抽取

    本研究提出了一种轻量级神经框架，使用实体感知的词嵌入方法、自注意机制和基于丰富语境表示的汇聚门来解决监督远程关系提取的问题和减轻之前机制的缺陷，实现了最高的分类准确性和最佳的实验结果。

    Nov, 2019

  • 带有语法和语义结构的图形变换网络用于事件参数提取

    本文提出了一种基于图变换网络（GTNs）利用句子的句法和语义结构来学习更有效的句子结构的新模型，并引入了基于信息瓶颈的新归纳偏差来提高 EAE 模型的泛化性能，实验结果表明该模型在标准数据集上具有最先进的 EAE 性能。

    Oct, 2020

  • 混合自注意力网络用于机器翻译

    本研究中，我们提出了一种名为 HySAN 的新型自注意力机制，它可以通过针对不同类型的自注意力网络设计特定的掩码来提取各种语义，并引入挤压门来融合不同类型的自注意力网络，在三个机器翻译任务上实现了优于 Transform 的显著基线，并实现了超越最先进的 NMT 系统的卓越结果。

    Nov, 2018

  • 事件检测： 基于图卷积神经网络的门控多样性和句法重要性评分

    该研究提出一种利用数据触发词信息进行噪音信息过滤的门控机制，同时采用依存树来获得单词的整体语境重要性评分，从而提高事件检测的性能。实验结果表明，该方法在两个数据集上均达到了最先进水平。

    Oct, 2020

  • 利用 BERT 和图注意力实现机器翻译的句法知识

    通过图注意力模型与 BERT 共同表示源语言的句法依赖特征，以丰富源语言的表示并指导目标语言生成，提出了用 SGB 在机器翻译中获取句法知识。这个模型的实验显示，在不损失 BLEU 得分的情况下，可以提高翻译质量，同时探索了句子长度对此的影响以及 GAT 识别的依赖关系。

    May, 2023

  • GATology 在语言学中的应用：它能识别哪些句法依存关系

    本文研究了 Graph Attention Network 在机器翻译中的应用，通过设计一个依赖关系预测任务，研究了 GAT 如何学习三种语言的语法知识，结果表明当 GAT 层数适当增加，可以获得更好的性能并保持训练速度更快和更有竞争力的语法依赖预测能力。

    May, 2023