文本图的复杂性导向课程学习
我们提出了一种通用的和趋势感知的课程学习方法来处理图神经网络,该方法结合了基于样本的丢失趋势,从而更好地区分易于和困难的样本并对它们进行训练调度。该模型有效地整合了文本和结构信息以在文本图中进行关系提取。实验结果表明,该模型在几个数据集上提供了对样本难度的稳健估计,并在与最先进方法的比较中显着改进了性能。
May, 2022
通过引入一种建立在图复杂性规范和模型能力的新方法,本文在课程学习中提出了一种新的视角,该方法通过考虑不同样本困难度和模型能力的观点,在训练过程中推导出有效的课程表,为图神经网络的课程学习研究提供了进一步的发展。实验结果表明了该方法在实际的链接预测和节点分类任务中的有效性。
Jul, 2023
利用简化且无创新的方法在下游任务上进行预训练语言模型的有监督参数高效微调,并生成节点嵌入以提高图形神经网络在多个图形基准上的性能。
Aug, 2023
通过在指令语义树中添加指定数量的节点以增加指令数据的复杂性,我们的研究发现增加复杂性可以持续提升性能,而少数复杂指令优于多样化的简单指令,课程指令调整可能达不到期望的结果。
Aug, 2023
我们的研究旨在提高图模型在具有挑战性的零样本学习场景中的泛化能力,通过发展面向图结构知识的大型语言模型(LLMs),并利用图指示调整范式来与图结构知识建立联系,探索自我监督的图结构信号和任务特定的图指示,从而引导LLMs在理解复杂的图结构和改善在不同下游任务之间的适应性。我们的框架在监督和零样本图学习任务上进行评估,展示了优越的泛化能力,并超过了最先进的基准模型。
Oct, 2023
图神经网络(GNNs)在逐步沿边传播和聚合消息来表示具有依赖性的数据方面取得了巨大的成功。然而,现实世界中的图中的边通常具有不同程度的难度,甚至有些边对下游任务来说是有噪声的。因此,现有的GNNs可能导致子优化的学习表示,因为它们通常会将图中的每条边都视为相等的。另一方面,课程学习(Curriculum Learning, CL)模仿了按照有意义的顺序学习数据样本的人类学习原则,在提高表示学习器的泛化能力和鲁棒性方面已被证明是有效的。然而,现有的CL策略是为独立数据样本设计的,不容易推广到处理数据依赖性。为了解决这些问题,我们提出了一种新颖的CL策略,根据训练状态下期望给出的边的难度逐步将更多的边纳入训练中,其中难度程度由边的表现良好程度来衡量。我们通过对九个合成数据集和九个现实世界数据集进行广泛实验证明了我们方法的优势。我们提出的方法的代码可在此链接获得:https://...
Oct, 2023
提出了一种创新的框架:对抗课程图对比学习(ACGCL),利用成对增强技术生成可控相似性的图级正负样本,并通过子图对比学习鉴别其中的有效图模式。ACGCL框架内还设计了一种新颖的对抗课程训练方法,通过逐渐增加样本难度来促进渐进学习。最后,通过对六个知名基准数据集进行全面评估,ACGCL显著超过一组最先进的基准。
Feb, 2024
本文研究异构图神经网络 (HGNNs) 的课程学习技术应用,设计了一种损失感知的训练进度表,命名为 LTS,该表度量数据的每个节点的质量,并逐步增加难度地将训练数据集融入模型中。LTS 可无缝集成到各种框架中,有效减少偏差和方差,减轻噪声数据的影响,并提高整体准确性,从而展示了课程学习在增强 HGNNs 分析复杂图结构数据能力方面的功效。
Feb, 2024
提出了一种新颖的框架 MuseGraph,它无缝地整合了 GNN 和 LLM 的优势,通过自适应输入生成和多样化的指令生成机制,以及针对不同任务和数据集的图感知指令调优,提高了图任务的准确性,并保持了 LLM 的生成能力。
Mar, 2024
本研究针对大型语言模型在图相关任务中的应用,填补了现有研究的空白。我们提出了一种新的数据集,包含79个图任务,并发现JSON格式在图表示上对语言模型的理解效果最佳。这一发现为如何有效使用大型语言模型处理复杂图结构提供了实证依据,具有重要的应用潜力。
Aug, 2024