Feb, 2024

图机器学习基础的未来方向

PDF
TL;DR机器学习与图神经网络，尤其是使用图神经网络（GNN）的机器学习，在各个领域的图数据广泛应用中受到了广泛关注。然而，对于 GNN 的性质仍存在理论上的不完备性。最近的理论进展主要集中于阐明 GNN 的粗粒度表达能力，主要使用组合技巧。然而，这些研究与实践并不完全一致，特别是在理解使用随机一阶优化技术训练时 GNN 的泛化行为方面。在本文中，我们将论证图机器学习社区需要将关注点转向发展一个更加平衡的图机器学习理论，重点研究表达能力、泛化和优化的相互作用。
machine learninggraph neural networksexpressive powergeneralizationoptimization
发现论文，激发创造
  • 探索图神经网络的泛化理解

    研究了图神经网络在泛化上的机制，建立了高概率边界和其对泛化差距和梯度的影响，得出结论和实验证据相符的新认识。

    May, 2023

  • 揭开图：图神经网络与图生成

    综述了图神经网络 (GNNs) 的应用、图数据和深度学习的扩展，以及 GNNs 的高级领域：图生成。

    Mar, 2024

  • 探索因果学习通过图神经网络：深度综述

    图神经网络 (GNNs) 在因果学习中的应用和发展进行了全面的综述，包括分类和应用等方面，提供了与实际研究相关的数据集，同时探讨了因果学习在不同领域的应用，为机器学习这一快速发展领域的挑战和未来的研究方向提供了启示。

    Nov, 2023

  • 基于图神经网络的组合优化和推理

    本文通过对近年来在组合优化、运筹学和机器学习等领域出现的基于图神经网络（GNNs）的组合优化求解方法和算法进行概述，以此向优化和机器学习研究者介绍这一领域的最新进展。

    Feb, 2021

  • 朝向因果分类的图神经网络的全面研究

    研究发现了图神经网络在因果分析方面的潜力，通过评估不同数据环境中九个基准图分类模型的效率和灵活性，突显了预测能力以及需求进一步提升的领域。

    Jan, 2024

  • 计算图神经网络：从算法到加速器的综述

    该研究论文通过对 GNNs 的计算效率进行探讨，提供了该领域的回顾，包括对 GNN 的基本概念的简短教程以及不同算法变体的多个阶段中进行的操作的总结；同时，提供了对当前软件和硬件加速方案的深入分析，并提出了一个面向硬件和软件的、图形感知和通信为中心的 GNN 加速器的愿景。

    Sep, 2020

  • 灵活表示多模块图神经网络以实现更好的泛化

    本文研究了图神经网络的可扩展性和推广性，并提出了灵活的 GNNs 框架，通过多种节点更新函数和内部循环优化，使网络能够灵活适应新图并在多项推理任务中提高泛化能力。

    Sep, 2022

  • 图神经网络：方法和应用综述

    本文介绍了图神经网络（GNNs）的设计管道，详细讨论了其各个组成部分的变体，对其应用进行了系统分类，并提出了四个开放性问题供未来研究。

    Dec, 2018

  • 大型语言模型时代的图机器学习

    在 LLMs 时代，通过综述文章，我们首先回顾了图机器学习的最新发展，然后探讨了 LLMs 如何提高图特征的质量，减少对标记数据的依赖，并解决图的异质性和分布外泛化等挑战。此外，我们研究了图如何增强 LLMs，并突出它们在 LLMs 的预训练和推理中的能力。最后，我们探讨了这个有前景的领域的各种应用和潜在的未来方向。

    Apr, 2024

  • 图神经网络的泛化和表征限制

    本研究关注图神经网络的本质问题：无法仅仅依靠局部信息计算多个重要的图形特征；同时提出了信息传递图神经网络的第一个数据相关泛化界限，这一分析专门考虑了 GNN 局部置换不变性，该边界比现有的基于 VC 维度的 GNN 保证要紧密，与循环神经网络的 Rademacher 界限相当。

    Feb, 2020