ACLMay, 2022

KGTuner: 知识图谱学习的高效超参数搜索

PDF
TL;DR提出了一种名为 KGTuner 的算法，通过在小子图上有效探索超参数配置，并将表现最佳的配置传递到大规模知识图谱中进行微调，从而有效地搜索知识图谱学习中的超参数，实验结果表明，相较于基准算法，能够在同样的时间预算下得到更好的算法性能，平均相对提升达到了 9.1%。
hyper-parametersknowledge graphkgtuneralgorithmembedding models
发现论文，激发创造
  • 从小做起，追求卓越：对大规模知识图谱嵌入的超参数优化

    本论文讨论知识图谱嵌入模型的超参数优化方法，提出了一种高效的多保真度算法 GraSH，并在大规模知识图谱上实现了最新的成果。

    Jul, 2022

  • 对抗性鲁棒模型的超参数调整

    本文研究在对抗环境下如何调整超参数，通过实验发现需要在标准和对抗训练阶段独立地调整超参数，提出利用廉价对抗训练和多保真度优化器来降低鲁棒性模型的超参数调整的成本。

    Apr, 2023

  • 评估超参数对知识图谱嵌入质量的影响

    通过 Sobol 敏感度分析，本文研究了不同知识图谱的超参数灵敏度差异，并提出了一个泄漏鲁棒的知识图谱变种 UMLS-43。

    Jul, 2022

  • 图增强的学习排序用于查询大规模知识图谱

    提出了一种基于子图分区的图增强学习排序模型，该模型整合了子图匹配网络和增强双边多角度匹配模型，用于知识图谱问答中的答案选择。在多个基准数据集上的实验结果表明，该方法具有很好的效果。

    Nov, 2021

  • 个性化推荐的分层关注知识图谱嵌入

    本文提出了一种新的分层注意力知识图嵌入框架（HAKG），用于捕捉用户偏好，并在缓解数据稀疏性问题方面表现出优越性。

    Oct, 2019

  • 面向任务的大型知识图谱上的 GNNs 训练用于准确和高效建模

    KG-TOSA 是一种自动化任务导向下的异构图神经网络训练的子图提取方法，能够显著减少训练时间和内存使用，提高模型性能。

    Mar, 2024

  • 可传递的神经过程用于超参数优化

    本文提出一种基于迁移学习的自动超参数优化算法：Transfer Neural Processes (TNP)，将历史优化实验的知识转移应用到当前优化任务中，该算法在广泛的 OpenML 数据集和三个计算机视觉数据集上实现了前沿性能。

    Sep, 2019

  • 基于灰盒动态优化的深度学习超参数高效优化

    介绍了一种名为 DyHPO 的灰箱超参数优化方法，它能够学习动态决定下一个尝试哪个配置和预算。通过 50 个数据集和各种神经网络的大规模实验，我们证明了 DyHPO 比最先进的超参数优化基线具有显着的优越性。

    Feb, 2022

  • 正交 Procrustes 分析实现高效知识图谱嵌入学习

    提出一种简单而有效的知识图谱嵌入框架，使用关系矩阵的全批量学习，基于正交 Procrustes 分析，非负采样训练等三项技术创新较大程度上减少训练时间和环境影响，同时能够生成具有高度可解释性并且富含语义的模型。

    Apr, 2021

  • 迭代加深超带

    本文提出了超频参数 Hyperband 的增量变体，以消除选择过小的大预算所引起的昂贵成本和有价值已积累知识的流失问题，并在基准数据集实验中展示了它们的实用性和理论保证的类似性。

    Feb, 2023