ICMLMay, 2024

PAC-Bayesian 知识图谱表示学习的一般化界

PDF
TL;DR在这篇论文中，我们提出了一种名为 ReED 的通用框架，用于分析知识图谱表示学习方法的 PAC-Bayesian 泛化界限。我们的框架可以表达至少 15 种不同的知识图谱表示学习模型，并为 KGRL 中常用的技巧提供了理论依据，如参数共享和权重归一化方案，并指导实际 KGRL 方法的设计选择。我们通过实验证明了我们泛化界限中的关键因素可以解释三个真实世界知识图谱上的实际泛化错误。
发现论文，激发创造
  • 图神经网络的 PAC-Bayesian 对抗鲁棒泛化界限

    在这篇论文中，我们使用 PAC-Bayesian 框架为两种流行的图神经网络，图卷积网络（GCN）和消息传递图神经网络，提供了对抗鲁棒性泛化界限的结果。我们的结果揭示出图上扩散矩阵的谱范数、权重的谱范数以及扰动因子决定了这两个模型的鲁棒性泛化界限。同时，我们的界限避免了在标准设置中指数依赖于最大节点度的问题。作为推论，我们在标准设置中为 GCN 导出了更好的 PAC-Bayesian 鲁棒性泛化界限，避免了在（Liao 等人，2020）中对最大节点度的指数依赖。

    Feb, 2024

  • 一种基于 PAC-Bayesian 方法的图神经网络泛化界的研究

    本文基于 PAC-Bayesian 方法推导出了两种主要的图神经网络（GCNs 和 MPGNNs）的泛化界，进一步显示节点最大度数和权重的谱范数支配了这两种模型的泛化界。

    Dec, 2020

  • 具有语义相关性感知的广义关系学习用于链接预测

    该研究提出了一种统一的关系学习框架（GRL），该框架可以插入现有的链接预测模型中，能够增强现有的链接预测模型，使其对于不平衡的关系分布和学习未见关系具有不敏感性，并能够联接语义相似的关系。

    Dec, 2020

  • 利用 PAC-Bayes 理论和 Gibbs 分布进行具有复杂度度量的泛化界限

    该研究利用分解的 PAC-Bayes 边界框架得出一个可适配任意复杂度度量的一般泛化边界，其中关键步骤是考虑一系列常用的分布：Gibbs 分布。该边界在概率上同时适用于假设和学习样本，允许复杂度根据泛化差距进行调整，以适应假设类和任务。

    Feb, 2024

  • 基于关系的嵌入传递方法在知识表示学习中的简单有效应用

    提出一种名为 REP 的方法，该方法是一种后处理技术，可用于以前训练的知识图嵌入与图形上下文相适应。REP 具有显着的可扩展性，在改善或维持预测质量的同时平均带来相对 10％的提高，并需要 5％-83％的时间才能达到与最先进 GC-OTE 相当的结果。

    May, 2022

  • 一种关系交互式的超关系知识图中信息传递方法

    本文提出了一种基于消息传递的具有全局关系结构感知能力的图编码器 ReSaE，用于超关系知识图谱的编码，并能够在下游链接预测任务中提供更强的性能。实验证明，ReSaE 在多个链接预测基准上实现了最先进的性能，并分析了不同模型结构对模型性能的影响。

    Feb, 2024

  • 在线到 PAC 转换：通过遗憾分析获得泛化界

    本文提出了从在线学习的角度推导统计学习算法的泛化界限的新框架，建立在线学习算法与统计学习算法之间的联系，通过构造一种在线学习游戏来实现该框架并得到多种泛化保证。

    May, 2023

  • 知识库问答中应更加关注关系探索

    本文提出了一种新的 RE-KBQA 框架，利用知识库中的关系来增强实体表示并引入额外的监督方法以提高知识库问答的效果，通过实验证明此框架的优越性，从而提高 F1 分数。

    May, 2023

  • 关于可重参数化强化学习中的泛化差距

    研究重点在于利用再参数化技巧解决强化学习的泛化问题，并利用监督学习和迁移学习理论分析其推广能力，结果证明推广能力与环境转移、回报和策略函数类等因素有关。

    May, 2019

  • 知识图谱规则引导的联合嵌入学习

    本研究论文介绍了一种新颖的模型，将知识图谱中的实体和关系编码为低维向量空间，并将上下文信息和字面信息融入到实体和关系嵌入中，使用图卷积网络进行建模，通过置信度和相关性度量评估上下文信息的重要性，并通过字面信息的表示来计算相关性度量。我们在两个常用基准数据集上进行了全面的实验证实以验证模型的性能。

    Dec, 2023