具有损失递减感知的异构图神经网络的课程学习
本文研究异构图神经网络 (HGNNs) 的课程学习技术应用,设计了一种损失感知的训练进度表,命名为 LTS,该表度量数据的每个节点的质量,并逐步增加难度地将训练数据集融入模型中。LTS 可无缝集成到各种框架中,有效减少偏差和方差,减轻噪声数据的影响,并提高整体准确性,从而展示了课程学习在增强 HGNNs 分析复杂图结构数据能力方面的功效。
Feb, 2024
图神经网络 (GNNs) 在逐步沿边传播和聚合消息来表示具有依赖性的数据方面取得了巨大的成功。然而,现实世界中的图中的边通常具有不同程度的难度,甚至有些边对下游任务来说是有噪声的。因此,现有的 GNNs 可能导致子优化的学习表示,因为它们通常会将图中的每条边都视为相等的。另一方面,课程学习 (Curriculum Learning, CL) 模仿了按照有意义的顺序学习数据样本的人类学习原则,在提高表示学习器的泛化能力和鲁棒性方面已被证明是有效的。然而,现有的 CL 策略是为独立数据样本设计的,不容易推广到处理数据依赖性。为了解决这些问题,我们提出了一种新颖的 CL 策略,根据训练状态下期望给出的边的难度逐步将更多的边纳入训练中,其中难度程度由边的表现良好程度来衡量。我们通过对九个合成数据集和九个现实世界数据集进行广泛实验证明了我们方法的优势。我们提出的方法的代码可在此链接获得:https://...
Oct, 2023
本文提出了三种新的课程学习策略,通过使用现有技术的图片难度预测器估计难度分数,分别将训练集图片分成逐渐困难的批次、为判别器引入考虑真实图片难度分数的课程损失函数以及从不断进化的分布中采样易于处理的图像,实验证明相较于传统的训练方法,在图像生成和转换任务中,这些策略能更快地收敛且产生更好的结果,例如使用最佳课程学习策略训练的经过谱归一化的 GANs 在 CIFAR 图像生成任务中,能以 25.0% 的比例成功欺骗人类标注者,而使用传统训练方法的 GANs 只有 18.4%,类似地,在图像转换中,使用课程学习训练的 CycleGAN 喜好程度为 40.5%,而基于传统训练的 CycleGAN 只有 19.8%,39.7% 的情况被视为平局。
Oct, 2019
本文提出了一种基于课程学习的图神经网络框架(GNN-CL),包含两个模块:基于图的过采样和同时调整特征空间中少数类节点间距离的图分类损失和度量学习损失,通过动态调整这两个模块的权重实现更好的泛化和判别能力。该框架在多个广泛使用的图数据集上进行评估,结果表明我们的模型始终优于现有最先进的方法。
Feb, 2022
通过引入一种建立在图复杂性规范和模型能力的新方法,本文在课程学习中提出了一种新的视角,该方法通过考虑不同样本困难度和模型能力的观点,在训练过程中推导出有效的课程表,为图神经网络的课程学习研究提供了进一步的发展。实验结果表明了该方法在实际的链接预测和节点分类任务中的有效性。
Jul, 2023
引入课程学习(Curriculum Learning)的 CL-SNN 模型旨在提高脉冲神经网络(Spiking Neural Networks)的生物学可行性,通过使用置信度感知损失来区分和处理具有不同难度级别的样本,模型自动减少难样本对参数优化的贡献,实验证明其有效性。
Sep, 2023
介绍课程发现问题,提出一种能够在课程空间内根据样本难度的先验知识,发现有效课程的课程学习框架。使用注释熵和损失作为难度度量标准,我们发现:(i)对于给定的模型和数据集,顶级发现的课程通常是非单调课程,而不是现有文献中的单调课程,(ii)普遍的易于难或难于易过渡课程往往存在表现不佳的风险,(iii)在较小的数据集和模型上表现良好的课程在较大数据集和模型上表现也很好。该框架包含一些现有的课程学习方法,并可以发现在几个自然语言处理任务上优于它们的课程。
Jul, 2023
我们提出了一种基于课程的训练方法,通过引入轻量级机制和创造签名图课程表示学习框架,优化了 SGNN 模型呈现样本的顺序,并在六个真实数据集上进行了实证验证,结果表明在链接符号预测(AUC)中,模型的准确性提高了 23.7%,标准差降低了 8.4。
Oct, 2023
我们提出了一种通用的和趋势感知的课程学习方法来处理图神经网络,该方法结合了基于样本的丢失趋势,从而更好地区分易于和困难的样本并对它们进行训练调度。该模型有效地整合了文本和结构信息以在文本图中进行关系提取。实验结果表明,该模型在几个数据集上提供了对样本难度的稳健估计,并在与最先进方法的比较中显着改进了性能。
May, 2022