Mar, 2022

TGL：针对数十亿规模图的时间 GNN 训练的通用框架

PDF
TL;DR本文提出了 TGL，一个适用于大规模离线图神经网络的统一框架，在多个 GPU 上进行训练，该框架包括时间采样器、邮箱、节点内存模块、内存更新器和消息传递引擎等五个主要组件，并通过随机块调度技术解决了训练大批量样本时过时的节点内存等问题。在多个小规模和两个大规模数据集上的实验结果表明，TGL 可以实现更快的训练速度和类似或更好的准确性。
temporal graph neural networksdynamic node embeddingslarge-scale offline trainingrandom chunk schedulingmulti-gpu training
发现论文，激发创造
  • LasTGL: 大规模时间图学习的工业框架

    LasTGL 是一个用于解决时间图学习问题的产业框架，它整合了常见的时间图学习算法的统一和可扩展实现，并提供了全面的时间图数据集、TGNN 模型和工具，适用于初学者和专业深度学习从业者。

    Nov, 2023

  • 关于时间图学习算法的泛化能力：理论洞察和简化方法

    本研究通过研究不同 TGL 算法的广义能力以及与 GNN-/RNN-based TGL 方法的层数 / 步数和特征 - 标签对齐度得分的关系建立了理论基础，提出了 Simplified-Temporal-Graph-Network，该算法具有小的泛化误差、改进的整体性能和较低的模型复杂性。实验结果表明了我们的方法的有效性，理论发现和提出的算法为未来研究的实际 TGL 算法设计提供了重要见解。

    Feb, 2024

  • DistTGL: 分布式基于记忆的时间图神经网络训练

    本文提出一种有效可扩展的方法 DistTGL，该方法通过增强 TGNN 模型、改进训练算法和优化系统，实现了在分布式 GPU 集群上训练内存基础全局连通图神经网络（memory-based temporal graph neural networks）。实验表明，DistTGL 算法比同类单机方法在准确性和训练吞吐量方面分别提高了 14.5% 和 10.17 倍。

    Jul, 2023

  • 时间图学习入门

    本文通过概念为主的方法介绍了时态图学习（TGL），系统地讲解了理解 TGL 框架所必需的重要概念。除了定性解释，我们还结合数学公式，增强了文章的清晰度。由于 TGL 涉及时态和空间学习，我们介绍了相应的学习架构，从循环神经网络、卷积神经网络到 Transformer 和图神经网络。我们还讨论了经典的时间序列预测方法，以启发 TGL 的可解释性学习解决方案。

    Jan, 2024

  • 基于时态图的基础模型的神经缩放定律研究

    时间图学习领域旨在从不断变化的网络数据中学习以预测未来的交互。本研究通过先在多个网络上进行预训练，再在未见过的网络上评估性能，展示了时间图学习的可转移性和神经缩放定律对预测性能的影响。

    Jun, 2024

  • 交通预测的时序图学习循环神经网络

    通过引入 Temporal Graph Learning Recurrent Neural Network (TGLRN) 模型，我们可以动态地构建每个时间步长的图形，从而准确地预测交通流量，并通过边采样策略进一步提高模型的性能。

    Jun, 2024

  • 基于时间图的动态图深度学习

    本文提出了一种称为 TGN 的新型深度学习框架，可以有效地在动态图形学中学习演化特征或连接。

    Jun, 2020

  • 可扩展的时空图神经网络

    本文提出了一种可扩展的体系结构，利用随机循环神经网络将输入时序的历史数据嵌入到高维状态表示中，并利用不同幂次的图相邻矩阵沿空间维传播以生成节点嵌入，从而实现多尺度的时空特征表示，我们的方法在保证结果竞争力的同时，大大降低了计算负担。

    Sep, 2022

  • 用于时态图机器学习的时态图基准测试

    Temporal Graph Benchmark 是一个收集了各种涉及社交、贸易、交通等网络领域的大规模数据集，用于实现机器学习模型在时间图上的现实、可重复和强大的评估。此外，该研究表明对于动态节点属性预测任务，简单的方法往往比现有的时间图模型表现更好，并提供了一个自动化的机器学习流程用于可重复和可访问的时间图研究。

    Jul, 2023

  • GenTKG：时序知识图谱上的生成预测

    我们提出了一个新颖的检索增强生成框架 GenTKG，结合了时间逻辑规则检索策略和轻量级参数效率指导，用于在时间知识图上进行生成性预测，证实了大语言模型在时间知识图领域具有巨大潜力，并开辟了时间知识图生成性预测的新领域。

    Oct, 2023