用于时态图机器学习的时态图基准测试
多关系时间图是建模现实世界数据的强大工具，研究论文介绍了用于评估方法的新的基准框架，并提供了大规模数据集，重点评估预测未来连接方法的效果。
Jun, 2024
通过扩展我们的动态图库 (DyGLib) 到 Temporal Graph Benchmark (TGB)，我们对 TGB 进行了经验评估。在实验中，我们发现一些问题需要解决，包括数据统计不匹配、评估指标计算不准确等；不同模型在各个数据集上表现不同，这与以前的观察相符；当使用 DyGLib 时，一些基准的表现可以显著提高。该工作旨在简化研究人员在 TGB 上评估各种动态图学习方法的工作，并试图提供可以直接参考的结果。
Jul, 2023
本研究介绍了 Open Graph Benchmark（OGB），它是一个包含多个重要图形机器学习任务的大规模数据集，为规模化、坚固性、再现性图形机器学习研究提供了有挑战的、真实的基准数据集，并提供一个统一的评估协议，其中包括有意义的特定于应用程序的数据拆分和评估指标。同时，OGB 提供了一个自动化的端到端图形机器学习管道，简化了图形数据加载、实验设置和模型评估的流程。
May, 2020
通过 BenchTemp 在多种工作负载下对 TGNN 模型进行了全面的、公平的评估，并对链接预测和节点分类等任务进行了效果和效率指标比较。
Aug, 2023
本文提出了 TGL，一个适用于大规模离线图神经网络的统一框架，在多个 GPU 上进行训练，该框架包括时间采样器、邮箱、节点内存模块、内存更新器和消息传递引擎等五个主要组件，并通过随机块调度技术解决了训练大批量样本时过时的节点内存等问题。在多个小规模和两个大规模数据集上的实验结果表明，TGL 可以实现更快的训练速度和类似或更好的准确性。
Mar, 2022
本研究针对机器学习模型在动态图中的学习和推理遇到的挑战，针对传统静态同构图数据集的局限性，提出了一种利用多元素科学出版涵盖的动态异构学术图数据集，测试模型预测任务的效能，并提出了一种系统方法来改善现有的图预测模型评估程序。
Apr, 2022
动态文本属性图（DyTAGs）广泛应用于各种真实场景，在其中每个节点和边缘都与文本描述相关联，且图结构和文本描述均随时间变化。为了填补这一空白，我们介绍了动态文本属性图基准（DTGB），这是一个从不同领域的大规模、时间演化的图集合，其中的节点和边缘由动态变化的文本属性和类别丰富。为了促进 DTGB 的使用，我们设计了基于四个真实用例的标准化评估过程：未来链接预测、目标节点检索、边缘分类和文本关系生成。这些任务要求模型理解动态图结构和自然语言，突出了 DyTAGs 所带来的独特挑战。此外，我们对 DTGB 进行了广泛的基准实验，评估了 7 种流行的动态图学习算法及其用于自适应文本属性的 LLM 嵌入的变体，以及 6 个强大的大语言模型（LLMs）。结果显示了现有模型在处理 DyTAGs 方面的局限性。我们的分析还展示了 DTGB 在研究结构和文本动态性融合方面的实用性。提出的 DTGB 促进了 DyTAGs 及其广泛应用的研究。它为评估和推进处理动态图结构和自然语言之间相互作用的模型提供了全面的基准。数据集和源代码可在此链接获取。
Jun, 2024
最近发布的时间图基准被分析在动态链接属性预测的背景下，我们提出了一个简单的无优化基线，即 “最近流行节点”，在时间图基准的所有中型和大型数据集上优于其他方法。我们提出了两种基于 Wasserstein 距离的度量方式，可以量化数据集的短期和长期全局动态的强度。通过分析我们出乎意料的强基线，我们展示了标准的负采样评估对于具有强时间动态的数据集可能不适用。我们还展示了简单的负采样在训练过程中可能导致模型退化，导致无法排名的、完全饱和的预测结果。我们提出了改进的负采样方案，用于训练和评估，并证明了它们的有用性。我们与非对比训练的模型进行了比较，没有进行负采样。我们的结果提供了一个具有挑战性的基准，并表明时间图网络架构在具有重大全局动态的问题中，如社交媒体、加密货币市场或电子商务中，需要进行深入的思考。我们公开发表了基线、测量和提出的负采样方案的代码。
Sep, 2023
通过提出一个可扩展的合成图生成工具，该工具从专有数据集中学习一系列参数模型，可以为研究人员提供研究各种图方法的合成数据，从而实现原型开发和创新应用的目的。
Dec, 2023
合成时间序列生成是数据增强、异常检测和隐私保护等各种应用中至关重要的，然而现有方法存在三个限制，而为了克服这些限制，我们引入了一个统一和综合评估 TSG 方法的 TSGBench 基准，它包括三个模块：一系列经过精心筛选的适用于合成时间序列的真实世界数据集和标准化的预处理流程；包括传统评估方法、基于距离的新评估方式和可视化工具在内的一套全面的评估措施；一项具有开创性的领域适应根基的泛化测试，兼容所有方法。我们对来自不同领域的十个真实世界数据集进行了广泛的实验，利用了十种先进的 TSG 方法和十二种评价措施，所有这些通过 TSGBench 进行了评估，结果突显出其显著的功效和一致性，更重要的是，TSGBench 提供了方法排名的统计细分，阐明了不同数据集和评估措施之间的性能变化，并且提供了对每种方法有效性的细致见解。
Sep, 2023