ZeroG: 探索图中的跨数据集零样本迁移性

Feb, 2024

ZeroG: 探索图中的跨数据集零样本迁移性

ZeroG: Investigating Cross-dataset Zero-shot Transferability in Graphs

Yuhan Li, Peisong Wang, Zhixun Li, Jeffrey Xu Yu, Jia Li

TL;DR通过引入 ZeroG，一种新的框架，我们扩展了这种零样本迁移学习范式到图领域，以实现数据集间的泛化，减少特征不对齐、标签空间不匹配和负迁移等固有挑战，并通过使用语言模型对节点属性和类别语义进行编码，以确保数据集间的一致特征维度，并通过基于提示的子图采样模块丰富提取的子图的语义信息和结构信息，进一步采用轻量级微调策略降低过拟合风险，并保持语言模型的零样本学习能力。结果显示我们的模型在实现显著的跨数据集零样本迁移能力方面非常有效，为图基础模型的发展开辟了新的路径。特别地，ZeroG 作为一种零样本方法，甚至能在 Pubmed 上实现可与半监督学习相媲美的结果。

Abstract

With the development of foundation models such as large language models, zero-shot transfer learning has become increasingly significant. This is highlighted by the generative capabilities of nlp models like GPT-

zero-shot transfer learning nlp models cv models graph learning zerog

发现论文，激发创造

生成式对抗零样本关系学习用于知识图谱

本文提出了一种零样本学习方法，利用生成对抗网络从文本描述中学习新关系的语义特征并在知识图谱中识别新关系的事实，使得知识图谱的扩展更加容易，实验结果表明这种方法可以被广泛应用于任何版本的知识图嵌入，并在 NELL 和 Wiki 数据集上实现了一致的性能提升。

Jan, 2020

TGG：零样本学习和少样本学习的可转移图生成

提出一种 Transferable Graph Generation 方法应用于 zero-shot/few-shot 学习领域，采用显式的图生成建模来解决隐式方法的关系不充分的问题。通过由一个基于注意力机制的图生成网络和一个关系核心生成与学习充分，从而实现对未知领域的知识迁移。

Aug, 2019

ZeroGen：通过数据集生成高效的零样本学习

本文研究了一种灵活高效的零样本学习方法 - 零样本生成（ZeroGen），基于预训练语言模型（PLMs）无监督生成数据集，并使用该数据集训练小型模型进行任务处理，从而实现高效推理。实验和分析表明， extsc {ZeroGen} 在文本分类、问答和自然语言推理等 NLP 任务中的有效性。

Feb, 2022

学习基于图的先验知识用于广义零样本学习

本篇论文研究了利用标签信息、属性以及关系图加强零样本学习和广义零样本学习，基于这个方法，本文在 CUB 和 SUN 数据集上取得了比强基线更好的结果。

Oct, 2020

GraphGPT: 大型语言模型的图指令调优

我们的研究旨在提高图模型在具有挑战性的零样本学习场景中的泛化能力，通过发展面向图结构知识的大型语言模型（LLMs），并利用图指示调整范式来与图结构知识建立联系，探索自我监督的图结构信号和任务特定的图指示，从而引导 LLMs 在理解复杂的图结构和改善在不同下游任务之间的适应性。我们的框架在监督和零样本图学习任务上进行评估，展示了优越的泛化能力，并超过了最先进的基准模型。

Oct, 2023

UniGraph：从自然语言中学习跨领域图基础模型

我们提出了 UniGraph 框架，通过使用文本属性图（TAGs）来训练图基础模型，实现对未见过的图和任务在不同领域中的泛化能力。我们的方法采用了级联的语言模型（LMs）和图神经网络（GNNs）构建的骨干网络以及基于掩码图建模（MGM）的自我监督训练目标，并引入大型语言模型（LLMs）进行图指令调优，进而使模型能够进行零样本预测。在各种图学习任务和领域的全面实验证明了我们模型在未见过的图的自我监督表示学习、少样本上下文转移和零样本转移方面的有效性，甚至超越或匹配了在目标数据集上进行受监督训练的 GNNs 的性能。

Feb, 2024

利用大型语言模型从知识图谱进行零样本自然语言生成

本文使用大型语言模型进行预训练生成知识图谱到文本的零样本生成，虽然表现接近最先进水平，但不同情况下有不同结果，并发现语言模型已有的知识与输出文本的质量有显著关联。

Jul, 2023

HiGPT: 异构图语言模型

HiGPT 是一个通用的大规模图模型，通过异构图指导调优范式，能够从任意异构图中学习，无需对下游数据集进行任何微调过程，实现模型的适应性和泛化性能。

Feb, 2024

基于多个知识图谱的模块化迁移学习用于零样本常识推理

本文提出一种模块化的知识聚合的零 - shot 常识推理框架，可以在多个不同的知识图谱中应用，提高了常识推理性能。

Jun, 2022

跨模态传递的零样本学习

该研究提出了一种模型，即使没有针对该对象的训练数据，也能在图像中识别对象，并从无监督的大型文本语料库中获取对未知类别的必要知识，在语言中的分布式信息可以被视为理解物体外观的语义基础。

Jan, 2013