TGB 2.0: 时间知识图与异构图学习的基准评测
Temporal Graph Benchmark 是一个收集了各种涉及社交、贸易、交通等网络领域的大规模数据集,用于实现机器学习模型在时间图上的现实、可重复和强大的评估。此外,该研究表明对于动态节点属性预测任务,简单的方法往往比现有的时间图模型表现更好,并提供了一个自动化的机器学习流程用于可重复和可访问的时间图研究。
Jul, 2023
通过扩展我们的动态图库 (DyGLib) 到 Temporal Graph Benchmark (TGB),我们对 TGB 进行了经验评估。在实验中,我们发现一些问题需要解决,包括数据统计不匹配、评估指标计算不准确等;不同模型在各个数据集上表现不同,这与以前的观察相符;当使用 DyGLib 时,一些基准的表现可以显著提高。该工作旨在简化研究人员在 TGB 上评估各种动态图学习方法的工作,并试图提供可以直接参考的结果。
Jul, 2023
本文提出了 TGL,一个适用于大规模离线图神经网络的统一框架,在多个 GPU 上进行训练,该框架包括时间采样器、邮箱、节点内存模块、内存更新器和消息传递引擎等五个主要组件,并通过随机块调度技术解决了训练大批量样本时过时的节点内存等问题。在多个小规模和两个大规模数据集上的实验结果表明,TGL 可以实现更快的训练速度和类似或更好的准确性。
Mar, 2022
动态文本属性图(DyTAGs)广泛应用于各种真实场景,在其中每个节点和边缘都与文本描述相关联,且图结构和文本描述均随时间变化。为了填补这一空白,我们介绍了动态文本属性图基准(DTGB),这是一个从不同领域的大规模、时间演化的图集合,其中的节点和边缘由动态变化的文本属性和类别丰富。为了促进 DTGB 的使用,我们设计了基于四个真实用例的标准化评估过程:未来链接预测、目标节点检索、边缘分类和文本关系生成。这些任务要求模型理解动态图结构和自然语言,突出了 DyTAGs 所带来的独特挑战。此外,我们对 DTGB 进行了广泛的基准实验,评估了 7 种流行的动态图学习算法及其用于自适应文本属性的 LLM 嵌入的变体,以及 6 个强大的大语言模型(LLMs)。结果显示了现有模型在处理 DyTAGs 方面的局限性。我们的分析还展示了 DTGB 在研究结构和文本动态性融合方面的实用性。提出的 DTGB 促进了 DyTAGs 及其广泛应用的研究。它为评估和推进处理动态图结构和自然语言之间相互作用的模型提供了全面的基准。数据集和源代码可在此链接获取。
Jun, 2024
我们提出了一个新颖的检索增强生成框架 GenTKG,结合了时间逻辑规则检索策略和轻量级参数效率指导,用于在时间知识图上进行生成性预测,证实了大语言模型在时间知识图领域具有巨大潜力,并开辟了时间知识图生成性预测的新领域。
Oct, 2023
通过 BenchTemp 在多种工作负载下对 TGNN 模型进行了全面的、公平的评估,并对链接预测和节点分类等任务进行了效果和效率指标比较。
Aug, 2023
本研究针对机器学习模型在动态图中的学习和推理遇到的挑战,针对传统静态同构图数据集的局限性,提出了一种利用多元素科学出版涵盖的动态异构学术图数据集,测试模型预测任务的效能,并提出了一种系统方法来改善现有的图预测模型评估程序。
Apr, 2022
本文介绍了混合图 (即高阶图) 的统一定义以及混合图基准测试 (HGB),并提供了可扩展的评估框架和支持代码库以方便在 HGB 上训练和评估 GNNs;我们的实证研究揭示了各种研究机会和空白。
Jun, 2023
基于历史知识图谱,通过预测重复事实,在预测未来时间步内的知识图谱的链接方面提出了一个直观的 TKG 预测基线,与大多数 TKG 模型相比,它需要较少的超参数调整和无迭代训练,并且能够帮助识别现有方法中的失败模式。与五个数据集上的 11 种方法相比,我们的基线在其中三个数据集中排名第一或第三,展现了现有技术在预测质量上的截然不同的画面。
Apr, 2024