Nov, 2023

形式随功能：基于功能要求的文本到文本条件图生成

PDF
TL;DR本研究基于图的功能要求生成的问题设置进行了研究，并提出了一种在预训练语言模型的基础上微调以生成图的方法，该方法引入了关于图结构的归纳偏置，通过将消息传递层整合到语言模型的架构中。通过在公开可用和广泛研究的分子和知识图数据集上进行实验，结果表明我们的方法生成的图与所需功能要求更为契合，并且在相似任务的基准实验中显著优于其他方法。
text-to-text generationpretrained large language modelgraph generationinductive biasfunctional requirements
发现论文，激发创造
  • 图文融合：图推理在文本空间中

    通过一种新的框架 GraphText，将图形转化为自然语言，无需图数据训练，能够实现与监督训练图神经网络相媲美甚至超越其性能的图推理，同时为人类和大型语言模型提供了与模型无缝交流的方式，突显了大型语言模型在图机器学习领域尚未探索的巨大潜力。

    Oct, 2023

  • 输入条件的语言代理图生成

    基于大型语言模型的语言代理，使用图形框架构建的动态学习方法，通过强化学习进行微调，能够根据给定的输入生成内部通信表示，实现较高的准确率。

    Jun, 2024

  • 面向图文生成的逐阶微调算法

    本文提出了一种带有两个阶段微调机制的结构化图文模型，结合传统的标记和位置嵌入以及新颖的树级嵌入方法，显著提高了英语 WebNLG 2017 数据集的所有文本生成指标

    May, 2021

  • 使用图形 transformer 从知识图谱生成文本

    本文介绍了一种新型图形转换编码器，可处理知识图谱等非层次性图形的内容，应用于科学文本领域的图 - 文本生成，评价结果表明，该技术可以产生比竞争的编码解码方法更具信息量且结构更好的文本。

    Apr, 2019

  • 基于逻辑图的语言模型的指令生成规划

    将逻辑注入语言模型的新型基于图的语言模型 Logical-GLM，通过捕捉自由形式文本中所包含的隐含规则，并生成逻辑骨架以指导语言模型的训练，从而实现更准确的文本生成和可解释性，并通过使用逻辑图反映语言模型的内在机制提高黑盒模型的可解释性。

    Aug, 2023

  • 线性化图形到文本生成中的图形意识提升

    本文研究使用预训练 transformers 处理线性化的图输入，并探讨其编码局部图结构的能力和使用图去噪目标增强编码的解决方案对于在低资源环境下提高下游生成的效果。

    Dec, 2020

  • 自然语言就是图的应有之义

    我们提出了 InstructGLM（指导调整的图语言模型），基于自然语言说明系统地设计高度可扩展的提示，使用自然语言描述图的几何结构和节点特征，通过指导调优语言模型以一种生成方式在图上执行学习和推理，超过了所有竞争的 GNN 基准数据集，证明了我们方法的有效性，并为将生成语言模型替代 GNN 作为图机器学习的基础模型提供了启示。

    Aug, 2023

  • 用大型语言模型叙述因果图

    使用生成性人工智能从因果图生成文本描述的能力得到了实证调查，发现相对于基于事实的图形，因果文本描述在零 - shot 设置下更难生成，但使用少量示例进行模型训练与通过大型策划数据集进行微调获得类似的性能。

    Mar, 2024

  • 评估用于图到文本生成的生成模型

    本文探讨了生成模型在零样本情况下从图数据生成描述性文本的能力，并与微调后的语言模型进行了比较，在两个图到文本数据集上评估了 GPT-3 和 ChatGPT 的性能。结果表明生成模型能够生成流畅和连贯的文本，AGENDA 和 WebNLG 数据集的 BLEU 分别达到 10.57 和 11.08。然而，我们的错误分析发现生成模型仍然难以理解实体之间的语义关系，并且倾向于生成存在幻觉或无关信息的文本。作为错误分析的一部分，我们使用 BERT 检测机器生成的文本，并实现了较高的宏 F1 得分。我们已公开提供生成模型生成的文本。

    Jul, 2023

  • 图到文本生成中的结构信息保留

    该研究提出通过使用自动编码损失的多任务训练的方法，从而在图到文本生成领域中更好地保存输入信息并提高性能，实验证明其优于现有基准模型。

    Feb, 2021