GraSAME：通过图导引的自注意机制向预训练语言模型注入标记级结构信息

ACLApr, 2024

GraSAME：通过图导引的自注意机制向预训练语言模型注入标记级结构信息

GraSAME: Injecting Token-Level Structural Information to Pretrained Language Models via Graph-guided Self-Attention Mechanism

PDF

Shuzhou Yuan, Michael Färber

TL;DR该研究提出了一种名为 GraSAME 的新颖图导向自注意机制，无需额外对齐或连接，将结构信息无缝地融入预训练语言模型，有效地解决了图结构与文本之间的模态差异问题，实现了动态的图神经网络与预训练语言模型的交互，并在图文生成任务中表现优于基线模型，与最先进模型在 WebNLG 数据集上取得可比较的结果，同时通过减少超过 1 亿个可训练参数，消除了调整图输入的额外预训练任务的需要。

Abstract

pretrained language models (PLMs) benefit from external knowledge stored in graph structures for various downstream tasks. However, bridging the modality gap between graph structures and text remains a significant challenge. Traditional methods like linearizing graphs for PLMs lose vit

pretrained language models graph-guided self-attention mechanism bridging modalities grasame graph-to-text generation

发现论文，激发创造

自监督图层掩蔽预训练用于图到文本生成

该论文提出了使用图形遮盖的预训练策略来提高图到文本生成任务中预训练模型的效果，该方法取得了 WebNLG+2020 和 EventNarrative 数据集上的最新最好成果，并在低资源设置中表现出非常有效的结果。

Oct, 2022

AMR 解析和生成的图形预训练

本文研究了利用图形自监督训练来提高 PLMs 模型在 AMR 图结构上的结构意识；它同时介绍了两种图形自编码策略，四个任务以及一个统一的框架来缩小预训练和微调任务之间的差距。实验结果表明了这种方法在 AMR 分析和 AMR-to-text 生成方面的优越性。

Mar, 2022

G-SAP：基于图的异构知识的常识推理结构感知提示学习

我们提出了一种用于常识推理的新型基于图结构的提示学习模型，名为 G-SAP，旨在在 LM+GNNs 模型中保持异构知识的平衡并增强跨模态的交互。通过将多个知识源整合到证据图中，采用结构感知的冻结 PLM 来完全融合来自证据图的结构化和文本信息，利用异构消息传递推理模块促进 LM 和基于图的网络之间的深度交互。通过在三个基准数据集上进行大量实验证明了所提出模型的显着性能，尤其在 OpenbookQA 数据集上相比目前现有的 LM+GNNs 模型有 6.12％的改进。

May, 2024

图形语言模型

图形语言模型（GLM）集成了线性文本模型（LM）和图神经网络（GNN）的优点，同时减轻它们的弱点，在有监督和零样本情况下，在概念网络的关系分类任务上超过了基于 LM 和 GNN 的基线。

Jan, 2024

GraphGPT: 大型语言模型的图指令调优

我们的研究旨在提高图模型在具有挑战性的零样本学习场景中的泛化能力，通过发展面向图结构知识的大型语言模型（LLMs），并利用图指示调整范式来与图结构知识建立联系，探索自我监督的图结构信号和任务特定的图指示，从而引导 LLMs 在理解复杂的图结构和改善在不同下游任务之间的适应性。我们的框架在监督和零样本图学习任务上进行评估，展示了优越的泛化能力，并超过了最先进的基准模型。

Oct, 2023

探究预训练语言模型在图形生成文本方面的应用

本文研究了两种先前提出的预训练语言模型（PLMs），分析了不同任务自适应预训练策略对图转文本生成中 PLMs 的影响，发现 PLMs BART 和 T5 实现了新的最先进结果，并且任务适应性预训练策略进一步提高了它们的性能。

Jul, 2020

面向图文生成的逐阶微调算法

本文提出了一种带有两个阶段微调机制的结构化图文模型，结合传统的标记和位置嵌入以及新颖的树级嵌入方法，显著提高了英语 WebNLG 2017 数据集的所有文本生成指标

May, 2021

神经机器翻译的多粒度自注意力

本文介绍了一种结合多头自注意力和短语建模的新型神经网络 Mg-Sa，利用 n-gram 或者句法格式训练多个注意头以关注短语，并通过短语间的交互增强结构建模弱点，实验结果表明该方法可以提高 NMT 的性能。

Sep, 2019

骨架图自注意力：将骨骼归纳偏差嵌入手语生成中

本文提出了一种将手语序列表示为包含节点和边的骨骼图结构，并运用 Skeletal Graph Self-Attention（SGSA）方法实现手语的流畅和表达，该方法在 RWTH-PHOENIX-Weather-2014T 数据集上展现出比其它竞争方法更强的后向翻译表现。

Dec, 2021

更加关注自注意力：通过关注引导改进预训练语言模型

本文介绍了如何通过引入注意力机制创新地优化了预训练语言模型在信息检索和自然语言处理任务中的表现，提出了两种有效的注意力指导方法，并在多个预训练模型和数据集上进行了广泛的实验，取得了稳定的性能提升。

Apr, 2022