Dec, 2020
线性化图形到文本生成中的图形意识提升
Promoting Graph Awareness in Linearized Graph-to-Text Generation
Alexander Hoyle, Ana Marasović, Noah Smith
TL;DR本文研究使用预训练 transformers 处理线性化的图输入，并探讨其编码局部图结构的能力和使用图去噪目标增强编码的解决方案对于在低资源环境下提高下游生成的效果。
Abstract
Generating text from structured inputs, such as meaning representations or
RDF triples, has often involved the use of specialized graph-encoding neural
networks. However, recent applications of pretrained transformers
structured inputsgraph-encoding neural networkspretrained transformersgraph-to-text tasksgraph-denoising objectives
发现论文，激发创造
使用图形 transformer 从知识图谱生成文本
本文介绍了一种新型图形转换编码器，可处理知识图谱等非层次性图形的内容，应用于科学文本领域的图 - 文本生成，评价结果表明，该技术可以产生比竞争的编码解码方法更具信息量且结构更好的文本。
Apr, 2019
面向图文生成的逐阶微调算法
本文提出了一种带有两个阶段微调机制的结构化图文模型，结合传统的标记和位置嵌入以及新颖的树级嵌入方法，显著提高了英语 WebNLG 2017 数据集的所有文本生成指标
May, 2021
TextGNN: 基于图神经网络的赞助搜索文本编码器优化
提出了一种名为 TextGNN 模型的文本编码器，结合了用户历史行为中的图形信息，自然地扩展了强的双塔结构编码器，可以在低延迟环境中使用，同时在离线和在线的实验中都取得了显著的性能提升。
Jan, 2021
图形转换器用于图形到序列学习
本文提出了一种名为 “图变压器” 的模型，使用显式关系编码并允许两个远程节点之间的直接通信。与局部邻域信息交换的图神经网络不同，它提供了一种更有效的全局图结构建模方式，并在抽象意义表示文本生成和基于句法的神经机器翻译应用中表现出优异的性能。
Nov, 2019
基于结构增强的文本表示学习用于高效的知识图谱补全
本研究旨在整合知识图谱的图嵌入和文本编码技术，以提高自动完成知识图谱的性能，实现更精确的链接预测和结构学习。实验结果表明，该方法能实现与文本编码方法相比 1-2 个数量级的推理成本减少和最先进的性能表现。
Apr, 2020
预训练图循环网络用于语言表示
本研究提出了一种基于图循环网络的语言模型预训练方法，其在性能、效率和生成多样性方面优于基于注意力机制的 Transformer，用于自监督学习的时候有较高的潜力。
Sep, 2022