EMNLPNov, 2019

基于图的转换句法分析的图形变换器

PDF
TL;DR我们提出了 Graph2Graph Transformer 架构，该架构用于对任意图进行条件和预测，并将其应用于具有挑战性的转换依赖分析任务中，这种新型基线结构可以集成许多以前的结构化预测方法，能够轻松应用于各种自然语言处理任务，同时在传统转换依赖分析中表现出较高的准确性。
graph2graph transformertransition-based dependency parsingtransformer modelsstructured prediction methodsnlp tasks
发现论文，激发创造
  • 图形转换器用于图形到序列学习

    本文提出了一种名为 “图变压器” 的模型，使用显式关系编码并允许两个远程节点之间的直接通信。与局部邻域信息交换的图神经网络不同，它提供了一种更有效的全局图结构建模方式，并在抽象意义表示文本生成和基于句法的神经机器翻译应用中表现出优异的性能。

    Nov, 2019

  • 应用于语义解析和数学问题的图到树神经网络学习结构化输入输出翻译

    本文提出一种新的图到树神经网络模型 (Graph2Tree)，该模型包含一个图编码器和一个分层树解码器，能够对图结构的输入进行编码和树结构的输出进行解码，用于解决神经语义解析和数学问题求解，实验证明该模型在这些任务上表现优异。

    Apr, 2020

  • 无纯元素的 Transformer 是强大的图学习器

    本文提出了一种名为 Tokenized Graph Transformer（TokenGT）的新颖神经网络，它可以用于大规模图形学习，通过节点和边的独立表示进行转换，并且通过合适的 token 嵌入，TokenGT 可以在理论上至少与由等变线性层组成的不变图网络（2-IGN）一样有潜力进行表现，实践中，TokenGT 在大规模图形数据集（PCQM4Mv2）上的表现不仅优于基于消息传递的图神经网络（GNN）基线，而且与具有复杂图特定归纳偏差的变型 Transformer 相比也具有竞争力。

    Jul, 2022

  • 将 Transformer 模型作为图到图模型

    我们认为 Transformer 模型本质上是图到图的模型，序列只是一种特殊情况。注意力权重在功能上等价于图中的边。我们的图到图 Transformer 架构明确地表达了这个能力，通过将图的边作为输入用于注意力权重计算，并使用类似于注意力的函数预测图中的边，从而将显式图集成到预训练的 Transformer 模型中学习出的潜在图中。添加迭代的图优化过程提供了输入、输出和潜在图的联合嵌入，使得非自回归图预测能够优化完整图，无需任何专门的流水线或解码策略。实证结果表明，该架构在对各种语言结构建模方面取得了最先进的准确性，与预训练学习的潜在语言表示非常有效地集成在一起。

    Oct, 2023

  • GraphGPT：使用生成式预训练 Transformer 进行图学习

    我们介绍了一种名为 GraphGPT 的自我监督建模方法，该方法通过将图或抽样子图转化为表示节点、边和属性的可逆令牌序列，并使用欧拉路径优先进行预训练，最后通过监督学习任务进行微调，该模型在大规模分子数据集 PCQM4Mv2、蛋白质相互作用数据集 ogbl-ppa 以及开放图基准数据集 ogbn-proteins 上取得了接近或优于现有方法的结果，并且能够训练超过 400M 个参数的 GraphGPT，具有一致提升的性能，这超出了 GNN 和先前的图变换模型的能力。

    Dec, 2023

  • 一种将 Transformer 网络泛化至图形数据的方法

    本文提出了一种用于任意图的变形器神经网络结构，在注意力机制中使用了邻域连接性，用拉普拉斯特征向量代替位置编码，使用批量归一化层代替层归一化，支持边特征表示。实验表明，该结构的性能优于传统的 transformer 模型。

    Dec, 2020

  • 基于图的 Transformer 模型：注意力机制是否足够？

    提出了一种基于 Transformer 的 GRAP-Aware Transformer（GRAT）神经网络模型，利用自注意机制自适应地处理整个图的编码和解码，经过多种实验验证，其在 QM9 数据集的分子属性预测等任务上表现出了领先水平。

    Jun, 2020

  • PARAGRAPH2GRAPH: 基于 GNN 的布局段落分析框架

    本文提出了一种名为 Paragraph2Graph 的基于图神经网络（GNN）的模型，它能够处理多种语言，并表现出了在处理文档布局方面的出色能力，同时可以适应需要进行严格分离的业务场景。

    Apr, 2023

  • 使用预训练字素模型的神经音素转换

    本文提出了一种预训练的字形模型 GBERT，通过两种方法将其融合到基于 Transformer 的 G2P 模型中，实验证明了该模型在 SIGMORPHON 2021 G2P 任务的中低资源数据情况下的有效性。

    Jan, 2022

  • 基于指针网络的基于转换的语义依存句法分析

    通过使用 pointer networks 实现的转移句法分析器在依赖句法分析方面已经成为最新的技术水平，我们提出了一种基于指针网络的转移系统，可以直接生成标记有方向无环图并实现语义依赖分析。同时，我们使用从 BERT 提取的深层上下文化的词嵌入来增强我们的方法。这一结果不仅超越了所有现有的基于转移的模型，而且还匹配了 SemEval 2015 任务 18 英语数据集上先前最先进的基于图形的解析器的最佳完全监督准确率。

    May, 2020