提出了一种名为 KGTuner 的算法,通过在小子图上有效探索超参数配置,并将表现最佳的配置传递到大规模知识图谱中进行微调,从而有效地搜索知识图谱学习中的超参数,实验结果表明,相较于基准算法,能够在同样的时间预算下得到更好的算法性能,平均相对提升达到了 9.1%。
May, 2022
提出一种简单而有效的知识图谱嵌入框架,使用关系矩阵的全批量学习,基于正交 Procrustes 分析,非负采样训练等三项技术创新较大程度上减少训练时间和环境影响,同时能够生成具有高度可解释性并且富含语义的模型。
Apr, 2021
开发了一种基于 DASK、Pytorch Lightning 和 Hugging Face 框架的知识图谱嵌入计算框架,能够以硬件无关的方式计算大规模知识图谱的嵌入表示,并提供了一个开源版本的框架以及一个具有超过 11.4B 参数的预训练模型的集线器。
Jul, 2022
该研究重新实现和评估了 21 种知识图谱嵌入模型,证明了模型架构、训练方法、损失函数和反向关系显式建模的结合对模型性能至关重要,提供了许多最佳配置和实践,并提供了代码和实验配置等信息。
Jun, 2020
该论文提出了一种用于神经网络的超参数优化方法,使用已训练权重的记录检查点来引导未来的超参数选择,借助灰盒超参数优化方法,通过嵌入权重到高斯过程深度核代理模型来提高效率,并通过一个置换不变图元网络实现数据效率。
Jun, 2024
通过 Sobol 敏感度分析,本文研究了不同知识图谱的超参数灵敏度差异,并提出了一个泄漏鲁棒的知识图谱变种 UMLS-43。
DGL-KE 是一个开源的知识图谱嵌入计算软件包,采用多进程、多 GPU 和分布式并行化等各种创新优化,可以在 8 个 GPU 的 EC2 实例上的 100 分钟内计算出 8600 万节点和 3.38 亿边的知识图谱的嵌入,比其他竞争方法快 2 至 5 倍。
Apr, 2020
提出了一种基于对比学习的知识图谱嵌入(KGE)训练框架,称为 Hardness-aware Low-dimensional Embedding(HaLE),使用查询采样设计了一种新的损失函数来平衡对齐和均匀性两个重要的训练目标,并提出了一个轻量级的硬度感知激活机制,实验结果表明,经过 HaLE 训练的模型在有限的训练时间内,可以有效地改善 KGE 模型在五个常用数据集上的性能和训练速度。
Jan, 2022
该研究探讨了五个知识图谱嵌入模型在两个以药物发现为导向的公共知识图谱上的预测表现,并发现模型性能受训练设置、超参数选择、模型参数初始化种子以及数据集的不同分割等因素的显著影响。作者强调,为确保未来工作的完全可重现性和公正比较,应将这些因素与模型架构一起报告,并且这对于知识图谱嵌入在生物医学领域的应用和影响至关重要。
May, 2021
调研中发现多样性 MF-HPO 基准测试应包含更复杂的案例,同时建议研究人员始终使用建议的基准测试以及多样性 MF-HPO 方法的基准测试结果需要延长计算时间。
Jul, 2023