HiGPT: 异构图语言模型
提出了 HetGPT,一种通用的后训练提示框架,用于改善预训练的异构图神经网络(HGNNs)的预测性能,并通过多视图邻域聚合机制捕捉异构图中的复杂邻域结构。在三个基准数据集上进行的大量实验证明了 HetGPT 在半监督节点分类方面改进了最先进的 HGNNs 的性能。
Oct, 2023
本文介绍了一种用于建模 Web 规模异构图的异构图转换器架构(HGT),通过设计基于节点类型和边类型的参数来实现异构性,并引入相对时间编码技术和异构迷你批图采样算法来处理动态异构图数据,实验表明,所提出的 HGT 模型在各种下游任务中始终优于所有最先进的 HNN 基线 9%至 21%。
Mar, 2020
我们的研究旨在提高图模型在具有挑战性的零样本学习场景中的泛化能力,通过发展面向图结构知识的大型语言模型(LLMs),并利用图指示调整范式来与图结构知识建立联系,探索自我监督的图结构信号和任务特定的图指示,从而引导 LLMs 在理解复杂的图结构和改善在不同下游任务之间的适应性。我们的框架在监督和零样本图学习任务上进行评估,展示了优越的泛化能力,并超过了最先进的基准模型。
Oct, 2023
提出了一种新的基于图的生成模型,将多个异构学习任务统一到同一框架中,通过将图卷积网络与多个变分自编码器相结合,在不同的任务上嵌入节点,从而成功提高了所有任务的性能,推动了现有先进方法的进步。
Nov, 2019
通过 HGT 框架,利用异构图增强的大型语言模型来处理少样本的表格理解任务,并通过多任务预训练方案以及三个新颖多粒度自监督异构图预训练目标来处理复杂表格,实验证明了 HGT 的有效性,并在多个基准测试中胜过 SOTA。
Mar, 2024
本文提出了一种异构图卷积网络建模方法 HeteGCN,结合了 predictive text embedding (PTE) 和 TextGCN 的优点用于文本分类,以解决现有方法预测能力、可扩展性和归纳能力的局限性。通过使用不同的图层在一个 HeteGCN 架构中学习特征嵌入并派生文档嵌入,将 TextGCN 简化为几个 HeteGCN 模型,从而简化了模型参数,以提高性能和训练速度。实验结果表明所提出的方法在小的标注训练集方案下有效。
Aug, 2020
通过引入 ZeroG,一种新的框架,我们扩展了这种零样本迁移学习范式到图领域,以实现数据集间的泛化,减少特征不对齐、标签空间不匹配和负迁移等固有挑战,并通过使用语言模型对节点属性和类别语义进行编码,以确保数据集间的一致特征维度,并通过基于提示的子图采样模块丰富提取的子图的语义信息和结构信息,进一步采用轻量级微调策略降低过拟合风险,并保持语言模型的零样本学习能力。结果显示我们的模型在实现显著的跨数据集零样本迁移能力方面非常有效,为图基础模型的发展开辟了新的路径。特别地,ZeroG 作为一种零样本方法,甚至能在 Pubmed 上实现可与半监督学习相媲美的结果。
Feb, 2024
本文介绍了一种新的框架,Blend&Grind-HGNN(BG-HGNN),该框架有效地解决了现有 HGNN 在处理不同关系类型复杂异构图时所面临的问题,其通过将不同关系融合到一个统一的特征空间中,在参数可管理的单一参数集的帮助下,得到了一个更高效、更有效地从异构图中学习的 HGNN 方法。实证研究表明,BG-HGNN 在参数效率(高达 28.96 倍)、训练吞吐量(高达 8.12 倍)和准确性(高达 1.07 倍)方面显著超过了现有的 HGNN。
Mar, 2024
该论文提出了一种利用图卷积网络在跨语言文本分类中融合异构信息的简单高效方法,利用词性角色、语义相似度和文档翻译等信息构建了异构图,实现了在所有任务中显著优于现有模型的性能和低资源情况下良好的一致性表现。
May, 2021