关于时间图学习算法的泛化能力：理论洞察和简化方法

Feb, 2024

关于时间图学习算法的泛化能力：理论洞察和简化方法

On the Generalization Capability of Temporal Graph Learning Algorithms: Theoretical Insights and a Simpler Method

Weilin Cong, Jian Kang, Hanghang Tong, Mehrdad Mahdavi

TL;DR本研究通过研究不同 TGL 算法的广义能力以及与 GNN-/RNN-based TGL 方法的层数 / 步数和特征 - 标签对齐度得分的关系建立了理论基础，提出了 Simplified-Temporal-Graph-Network，该算法具有小的泛化误差、改进的整体性能和较低的模型复杂性。实验结果表明了我们的方法的有效性，理论发现和提出的算法为未来研究的实际 TGL 算法设计提供了重要见解。

Abstract

temporal graph learning (TGL) has become a prevalent technique across diverse real-world applications, especially in domains where data can be represented as a graph and evolves over time. Although TGL has recently seen notable progress in algorithmic solutions, its theoretical foundat

temporal graph learning tgl algorithms generalization ability feature-label alignment simplified-temporal-graph-network

发现论文，激发创造

TGL：针对数十亿规模图的时间 GNN 训练的通用框架

本文提出了 TGL，一个适用于大规模离线图神经网络的统一框架，在多个 GPU 上进行训练，该框架包括时间采样器、邮箱、节点内存模块、内存更新器和消息传递引擎等五个主要组件，并通过随机块调度技术解决了训练大批量样本时过时的节点内存等问题。在多个小规模和两个大规模数据集上的实验结果表明，TGL 可以实现更快的训练速度和类似或更好的准确性。

Mar, 2022

时间图学习入门

本文通过概念为主的方法介绍了时态图学习（TGL），系统地讲解了理解 TGL 框架所必需的重要概念。除了定性解释，我们还结合数学公式，增强了文章的清晰度。由于 TGL 涉及时态和空间学习，我们介绍了相应的学习架构，从循环神经网络、卷积神经网络到 Transformer 和图神经网络。我们还讨论了经典的时间序列预测方法，以启发 TGL 的可解释性学习解决方案。

Jan, 2024

LasTGL: 大规模时间图学习的工业框架

LasTGL 是一个用于解决时间图学习问题的产业框架，它整合了常见的时间图学习算法的统一和可扩展实现，并提供了全面的时间图数据集、TGNN 模型和工具，适用于初学者和专业深度学习从业者。

Nov, 2023

探索图神经网络的泛化理解

研究了图神经网络在泛化上的机制，建立了高概率边界和其对泛化差距和梯度的影响，得出结论和实验证据相符的新认识。

May, 2023

基于时间图的动态图深度学习

本文提出了一种称为 TGN 的新型深度学习框架，可以有效地在动态图形学中学习演化特征或连接。

Jun, 2020

交通预测的时序图学习循环神经网络

通过引入 Temporal Graph Learning Recurrent Neural Network (TGLRN) 模型，我们可以动态地构建每个时间步长的图形，从而准确地预测交通流量，并通过边采样策略进一步提高模型的性能。

Jun, 2024

演化图中的时间推广估计

图神经网络在各个领域得以广泛应用，但面对图演变时往往难以保持准确的表示。本文从信息论的角度分析表示失真，并通过自监督图重构引入了一个简单而有效的基线方法 Smart，该方法通过自适应特征提取器提供了出色的泛化估计性能，实证结果表明其在真实演化图上的估计表现出优异的准确度。

Apr, 2024

基于时态图的基础模型的神经缩放定律研究

时间图学习领域旨在从不断变化的网络数据中学习以预测未来的交互。本研究通过先在多个网络上进行预训练，再在未见过的网络上评估性能，展示了时间图学习的可转移性和神经缩放定律对预测性能的影响。

Jun, 2024

图机器学习基础的未来方向

机器学习与图神经网络，尤其是使用图神经网络（GNN）的机器学习，在各个领域的图数据广泛应用中受到了广泛关注。然而，对于 GNN 的性质仍存在理论上的不完备性。最近的理论进展主要集中于阐明 GNN 的粗粒度表达能力，主要使用组合技巧。然而，这些研究与实践并不完全一致，特别是在理解使用随机一阶优化技术训练时 GNN 的泛化行为方面。在本文中，我们将论证图机器学习社区需要将关注点转向发展一个更加平衡的图机器学习理论，重点研究表达能力、泛化和优化的相互作用。

Feb, 2024

GenTKG：时序知识图谱上的生成预测

我们提出了一个新颖的检索增强生成框架 GenTKG，结合了时间逻辑规则检索策略和轻量级参数效率指导，用于在时间知识图上进行生成性预测，证实了大语言模型在时间知识图领域具有巨大潜力，并开辟了时间知识图生成性预测的新领域。

Oct, 2023