Oct, 2023

图神经网络的集成学习

PDF
TL;DR本研究探讨了集成学习技术在改善图神经网络（GNNs）性能和鲁棒性方面的应用。我们通过使用多种不同的初始化或结构来训练多个 GNN 模型，创建了一个名为 ELGNN 的集成模型，该模型捕捉了数据的各个方面，并使用树状结构 Parzen 估计算法确定集成权重。结合这些模型的预测结果可以提高整体准确性，减少偏差和方差，并减轻噪声数据的影响。我们的研究结果证明了集成学习在提升 GNN 对分析复杂图结构数据的能力方面的有效性。
graph neural networksensemble learningelgnntree-structured parzen estimatorcomplex graph-structured data
发现论文，激发创造
  • GNN-Ensemble: 面向随机决策图神经网络的研究

    本文提出了一种基于随机建模的新方法，称为 GNN-Ensemble，用于构建多个随机决策图神经网络的集成，从而提高图神经网络的性能，泛化能力和对抗性鲁棒性。该方法在不同的子结构和子特征空间中构建 GNN，在决策时进行组合，从而提高了它们的分类性能，并有效降低了对训练数据的过拟合。同时，我们证明 GNN-Ensemble 可以显著提高对抗性攻击的鲁棒性。

    Mar, 2023

  • E2GNN：高效的半监督分类图神经网络集成

    该研究旨在研究半监督条件下图神经网络（GNNs）的集成学习。通过将多个薄弱学习器的输出组合起来，集成学习已经在传统机器学习中提高准确性和鲁棒性方面显示出优越性。然而，在集成不同的 GNN 模型时，由于 GNN 的推理能力较差，这个想法很具有挑战性。为了解决这个问题，在本文中，我们提出了一种高效的集成学习算法 E2GNN，以可学习的方式组合多个 GNNs，同时利用标记和未标记节点。通过开展全面的实验证明了 E2GNN 的优越性。

    May, 2024

  • 基于多个依存树的图形集成学习用于方面级情感分类

    该论文研究了如何在面对不可避免的解析错误时更好地利用句法信息，提出了一种名为 GraphMerge 的简单有效的图形集成技术，通过将不同解析器的预测组合起来后再应用 GNNs 在得出的集成图上，使 GNN 模型能够在零额外计算成本的同时抵抗解析错误，避免 GNN 层叠导致的参数过大和过拟合，提供更多的连通性，其在 SemEval 2014 任务 4 和 ACL 14 Twitter 数据集上的实验表明，相对于单一依赖树模型和其他集成模型，我们的 GraphMerge 模型，不仅表现更好，而且不会增加模型参数。

    Mar, 2021

  • 语言和图神经网络模型的高效有效训练

    本文提出了一种有效的框架，称为语言模型图神经网络 (LM-GNN)，通过分阶段的 BERT 模型微调来结合异构图结构与文本，以便在多项监督学习任务中实现节点和边分类以及链接预测，并在不同的数据集上评估了这个框架且在一个亚马逊搜索 - 购买 - 产品的应用中提供了有竞争力的结果。

    Jun, 2022

  • 集成二次分配网络用于图匹配

    通过图神经网络结合数据驱动和传统方法，该研究提出了一种解决图匹配问题的模型，该模型利用了随机抽样策略降低了计算复杂度和 GPU 内存使用，并在几个任务上得到了显著的性能提升。

    Mar, 2024

  • 多任务设置下的图表示学习的元学习方法

    本文提出了一种新的元学习策略，能够生成可用于多个任务的多任务节点嵌入，并在多个任务上表现出比传统模型更高甚至可比的性能。该方法可以避免同时执行多个任务时出现的困难，是模型不可知和任务不可知的，适用于各种多任务领域。

    Dec, 2020

  • 集成多关系图神经网络

    本研究提出了一种新的集合多关系图神经网络通过设计集合多关系（EMR）优化目标来同时解决以前多关系 GNN 中扩充和过度参数化的问题，并截取了一个多关系 GNN，以缓解过度平滑和过度参数化问题，并在四个基准数据集上进行的广泛实验表明了所提出的模型的有效性。

    May, 2022

  • 使用 Loss 集合扩展神经网络的文本分类模型

    本文提出了一种基于集成技术的神经网络扩展，该神经网络具有集成损失函数用于文本分类并通过神经网络的梯度传播优化方法调整每个弱损失函数的权重，在多个数据集和不同程度的标签噪声下，与其他方法相比表现更好，具有较强的抗噪声能力。

    Nov, 2017

  • 约束狄利克雷能量的深度图神经网络学习

    该论文分析了深度图神经网络的瓶颈问题以及提出了一种基于狄利克雷能量的通用原则，通过该原则设计了一种新型深度图神经网络框架 - EGNN，并在实验结果中取得了最新颖的表现。

    Jul, 2021

  • 探索图神经网络的泛化理解

    研究了图神经网络在泛化上的机制，建立了高概率边界和其对泛化差距和梯度的影响，得出结论和实验证据相符的新认识。

    May, 2023