时间图基准的实证评估
Temporal Graph Benchmark 是一个收集了各种涉及社交、贸易、交通等网络领域的大规模数据集，用于实现机器学习模型在时间图上的现实、可重复和强大的评估。此外，该研究表明对于动态节点属性预测任务，简单的方法往往比现有的时间图模型表现更好，并提供了一个自动化的机器学习流程用于可重复和可访问的时间图研究。
Jul, 2023
多关系时间图是建模现实世界数据的强大工具，研究论文介绍了用于评估方法的新的基准框架，并提供了大规模数据集，重点评估预测未来连接方法的效果。
Jun, 2024
动态文本属性图（DyTAGs）广泛应用于各种真实场景，在其中每个节点和边缘都与文本描述相关联，且图结构和文本描述均随时间变化。为了填补这一空白，我们介绍了动态文本属性图基准（DTGB），这是一个从不同领域的大规模、时间演化的图集合，其中的节点和边缘由动态变化的文本属性和类别丰富。为了促进 DTGB 的使用，我们设计了基于四个真实用例的标准化评估过程：未来链接预测、目标节点检索、边缘分类和文本关系生成。这些任务要求模型理解动态图结构和自然语言，突出了 DyTAGs 所带来的独特挑战。此外，我们对 DTGB 进行了广泛的基准实验，评估了 7 种流行的动态图学习算法及其用于自适应文本属性的 LLM 嵌入的变体，以及 6 个强大的大语言模型（LLMs）。结果显示了现有模型在处理 DyTAGs 方面的局限性。我们的分析还展示了 DTGB 在研究结构和文本动态性融合方面的实用性。提出的 DTGB 促进了 DyTAGs 及其广泛应用的研究。它为评估和推进处理动态图结构和自然语言之间相互作用的模型提供了全面的基准。数据集和源代码可在此链接获取。
Jun, 2024
通过 BenchTemp 在多种工作负载下对 TGNN 模型进行了全面的、公平的评估，并对链接预测和节点分类等任务进行了效果和效率指标比较。
Aug, 2023
本文提出了 TGL，一个适用于大规模离线图神经网络的统一框架，在多个 GPU 上进行训练，该框架包括时间采样器、邮箱、节点内存模块、内存更新器和消息传递引擎等五个主要组件，并通过随机块调度技术解决了训练大批量样本时过时的节点内存等问题。在多个小规模和两个大规模数据集上的实验结果表明，TGL 可以实现更快的训练速度和类似或更好的准确性。
Mar, 2022
合成时间序列生成是数据增强、异常检测和隐私保护等各种应用中至关重要的，然而现有方法存在三个限制，而为了克服这些限制，我们引入了一个统一和综合评估 TSG 方法的 TSGBench 基准，它包括三个模块：一系列经过精心筛选的适用于合成时间序列的真实世界数据集和标准化的预处理流程；包括传统评估方法、基于距离的新评估方式和可视化工具在内的一套全面的评估措施；一项具有开创性的领域适应根基的泛化测试，兼容所有方法。我们对来自不同领域的十个真实世界数据集进行了广泛的实验，利用了十种先进的 TSG 方法和十二种评价措施，所有这些通过 TSGBench 进行了评估，结果突显出其显著的功效和一致性，更重要的是，TSGBench 提供了方法排名的统计细分，阐明了不同数据集和评估措施之间的性能变化，并且提供了对每种方法有效性的细致见解。
Sep, 2023
本研究论文强调了动态图学习的重要性以及其在各个领域中的应用，并强调了建立一个统一的基准框架的需求，该框架能够捕捉时间动态、不断变化的图结构和下游任务需求。建立统一的基准框架将有助于研究人员了解现有模型的优点和局限性，促进创新，推动动态图学习的进展。此外，本文认为当前动态图学习研究的一个限制是缺乏一个统一的基准框架。这样的框架将有助于准确评估模型，推动动态图学习技术的进展，为实际应用的更有效模型的开发提供可能性。
Jan, 2024
本文通过定性分析时空依赖结构学习以及比较研究所选的 TGN 模型对节点和边缘预测任务的有效性，并进行了对最佳表现 TGN 模型不同变体的广泛消融研究，以提供有价值的关于动态图形分析设计和优化的洞察，同时将快照数据转换为基于事件的数据集并与目前最先进的模型进行了兼容，以实现节点回归任务。
May, 2023
最近发布的时间图基准被分析在动态链接属性预测的背景下，我们提出了一个简单的无优化基线，即 “最近流行节点”，在时间图基准的所有中型和大型数据集上优于其他方法。我们提出了两种基于 Wasserstein 距离的度量方式，可以量化数据集的短期和长期全局动态的强度。通过分析我们出乎意料的强基线，我们展示了标准的负采样评估对于具有强时间动态的数据集可能不适用。我们还展示了简单的负采样在训练过程中可能导致模型退化，导致无法排名的、完全饱和的预测结果。我们提出了改进的负采样方案，用于训练和评估，并证明了它们的有用性。我们与非对比训练的模型进行了比较，没有进行负采样。我们的结果提供了一个具有挑战性的基准，并表明时间图网络架构在具有重大全局动态的问题中，如社交媒体、加密货币市场或电子商务中，需要进行深入的思考。我们公开发表了基线、测量和提出的负采样方案的代码。
Sep, 2023