May, 2023

ConGraT：自监督对比预训练用于联合图和文本嵌入

PDF
TL;DR本文提出了 ConGraT (Contrastive Graph-Text Pretraining) 方法，一种在 parent graph 上联合学习文本和节点的表示的自监督方法。使用两个单独的编码器来处理节点和文本，通过批量对比学习目标进行训练，并扩展了训练目标以纳入节点相似性和匹配节点和文本的可信下一猜测。在多个数据集上进行的实验表明，在节点和文本分类以及链接预测等不同下游任务中，ConGraT 优于强基线模型。
contrastive graph-text pretrainingself-supervised learningbatch-wise contrastive learning objectivegraphsnode and text classification
发现论文，激发创造
  • JointGT: 知识图谱文本联合表征学习用于文本生成

    该论文提出了一种名为 JointGT 的图文联合表示学习模型，该模型可应用于知识图谱自动文本生成。相较于现有的预训练模型，JointGT 将考虑图结构因素进行编码，并利用新的预训练任务（包括分别对文本和图进行重构以及通过最优传输实现图文一致性对齐）来提高性能，进而在多个 KG-to-text 数据集上达到新的最佳表现。

    Jun, 2021

  • GraphCL: 对图形表示的对比自监督学习

    本文提出了一种名为 Graph Contrastive Learning（GraphCL）的一般框架，以自我监督的方式学习节点表示，通过最大化同一节点的本地子图的内在特征和连接结构的两个随机扰动版本的表示之间的相似性来学习节点嵌入，并使用对比学习损失来最大化它们之间的一致性，证明我们的方法在节点分类基准测试中显着优于无监督学习的现有技术。

    Jul, 2020

  • 基于对比学习的节点表征简化框架

    本文研究如何将对比学习与图神经网络相结合，通过简单的列处理嵌入矩阵来提高节点嵌入的质量，从而在分类任务中取得高达 1.5％的改进和超越 8 项基准测试中的现有最先进方法。

    May, 2023

  • ConSERT：自监督句子表示转移的对比框架

    本文提出了一种对 BERT 进行自监督 fine-tune 的对比学习框架 ConSERT，通过利用无标签文本解决 BERT 生成句子表示时的崩溃问题，进而提高了 sentence representations 的应用性能，实验结果表明在 STS 任务上优于之前的 SOTA 达 8%，并且在与 1000 份样本的情况下表现稳健。

    May, 2021

  • GAugLLM：使用大型语言模型改进文本属性图的图对比学习

    本研究通过语言监督来改善视图生成，介绍了 GAugLLM 框架，利用先进的大型语言模型（如 Mistral）增强自监督图学习，通过混合提示专家技术生成增强的节点特征，以及协作边修饰器来增强边的生成。实验结果表明，该框架可以作为插件工具增强领先的对比方法的性能，同时也能增强标准生成方法和流行的图神经网络的性能。

    Jun, 2024

  • GRENADE: 自我监督表示学习的图中心语言模型

    通过图中心化的自监督学习算法，GRENADE 模型在文本属性图上能够有效地捕捉信息性的文本语义和结构上下文信息，出现了优于现有方法的结果。

    Oct, 2023

  • 基于图的对比式解缠学习用于节点分类

    基于对比学习方法的成功，该文提出一种用于图上对比解缩的框架，采用了解缩编码器和两个经过精心设计的自监管信号，并使用该框架在 3 个引文网络上进行节点分类任务，实验结果验证了该框架的有效性。

    Jun, 2023

  • 使用双分图预训练进行无监督的图卷积自编码器抽取式摘要

    利用预训练句子表示解决自动摘要中的关键句子识别问题，通过图预训练自编码器获得句子嵌入，并应用基于图的排名算法进行无监督摘要生成，表现优于基于 BERT 或 RoBERTa 的句子表示方法。

    Oct, 2023

  • 图形对比学习与数据增强

    本研究提出了一种图形比较学习 (GraphCL) 框架，通过图形增强等多种方式对图形数据进行无监督学习来学习表示。结果表明，即使不使用复杂的 GNN 架构，GraphCL 框架也可以生成类似或更好的通用性、可转移性和鲁棒性的图形表示。

    Oct, 2020

  • 图注意力网络实现的对比文档表征学习

    本文提出使用图注意力网络在可用的预训练 Transformer 模型之上来学习文档嵌入，并基于该模型设计简单的对比学习策略，在大量无标签语料库上预训练模型。经验证明，我们的方法在文档分类和文档检索任务中是有效的。

    Oct, 2021