LasTGL: 大规模时间图学习的工业框架
本文提出了 TGL,一个适用于大规模离线图神经网络的统一框架,在多个 GPU 上进行训练,该框架包括时间采样器、邮箱、节点内存模块、内存更新器和消息传递引擎等五个主要组件,并通过随机块调度技术解决了训练大批量样本时过时的节点内存等问题。在多个小规模和两个大规模数据集上的实验结果表明,TGL 可以实现更快的训练速度和类似或更好的准确性。
Mar, 2022
本研究通过研究不同 TGL 算法的广义能力以及与 GNN-/RNN-based TGL 方法的层数 / 步数和特征 - 标签对齐度得分的关系建立了理论基础,提出了 Simplified-Temporal-Graph-Network,该算法具有小的泛化误差、改进的整体性能和较低的模型复杂性。实验结果表明了我们的方法的有效性,理论发现和提出的算法为未来研究的实际 TGL 算法设计提供了重要见解。
Feb, 2024
TimeGNN 是一种学习动态时间图表示的方法,能够捕捉多个系列的相关性和交互模式的演变,并在预测性能方面实现比其他先进的基于图的方法快 4 到 80 倍的推理时间。
Jul, 2023
本文是对临时图形神经网络的综合评述,主要介绍了学习设置和任务的严格形式化,以及一种新颖的分类方法来分类已有的方法,讨论了该领域的最相关的开放挑战。
Feb, 2023
通过引入 Temporal Graph Learning Recurrent Neural Network (TGLRN) 模型,我们可以动态地构建每个时间步长的图形,从而准确地预测交通流量,并通过边采样策略进一步提高模型的性能。
Jun, 2024
本文通过概念为主的方法介绍了时态图学习(TGL),系统地讲解了理解 TGL 框架所必需的重要概念。除了定性解释,我们还结合数学公式,增强了文章的清晰度。由于 TGL 涉及时态和空间学习,我们介绍了相应的学习架构,从循环神经网络、卷积神经网络到 Transformer 和图神经网络。我们还讨论了经典的时间序列预测方法,以启发 TGL 的可解释性学习解决方案。
Jan, 2024
本文提出一种有效可扩展的方法 DistTGL,该方法通过增强 TGNN 模型、改进训练算法和优化系统,实现了在分布式 GPU 集群上训练内存基础全局连通图神经网络(memory-based temporal graph neural networks)。实验表明,DistTGL 算法比同类单机方法在准确性和训练吞吐量方面分别提高了 14.5% 和 10.17 倍。
Jul, 2023
时间图学习领域旨在从不断变化的网络数据中学习以预测未来的交互。本研究通过先在多个网络上进行预训练,再在未见过的网络上评估性能,展示了时间图学习的可转移性和神经缩放定律对预测性能的影响。
Jun, 2024
我们提出了一种名为 ' 时间图生成对抗网络 ' 的新模型,它能够连续地生成时间图,并针对回归神经网络设计了一些新的激活函数,以强制实施时间合法性约束,以及一种新的时间图鉴别器,以提高效率和准确性。
May, 2020