Feb, 2024

将知识图嵌入退化的 Clifford 代数

PDF
TL;DR在知识图嵌入中，提出了使用二次零指数的 nilpotent base 向量的 Clifford 代数 $Cl_{p,q,r}$ 来捕捉实体嵌入的无高阶相互作用的模式，设计了两种新的模型来发现参数 $p$、$q$ 和 $r$，评估结果表明，nilpotent 向量能够更好地捕捉嵌入，与其他方法相比在所有基准数据集上，我们的方法在验证数据上达到的最大排名 (MRR) 更好，同时还展示了贪婪搜索足以发现接近最优值的 $p$、$q$ 和 $r$。
clifford algebrasknowledge graph embeddingsnilpotent vectorsgreedy searchbenchmark datasets
发现论文，激发创造
  • 在几何代数中的知识图谱嵌入

    本论文提出了一种基于几何代数的知识图谱嵌入框架 GeomE，利用多向量表示和几何积模拟实体和关系，具有对称、反对称、逆序和复合等多种关系模式，具有良好的泛化能力，能在多个基准知识图谱上优于现有的最先进模型，适用于链接预测。

    Oct, 2020

  • 四元数知识图谱嵌入

    本研究提出了一种基于超复数表示的知识图谱嵌入方法，利用四元数来表示实体并将关系建模为四维空间中的旋转方式，实验证明此方法在关系表示学习方面表现出色并达到了当前领域最好的水平。

    Apr, 2019

  • 在超复数空间中融合知识图谱嵌入和预训练语言模型

    该论文提出了一种结合超复数代数的模型，通过将结构性和文本性知识统一表示为四种模态的向量，其中包括结构性知识图嵌入、单词级表示法、句子级表示法和文档级表示法，以增强链接预测任务的性能。

    Aug, 2022

  • ModulE: 知识图谱的模块嵌入

    通过基于群论的嵌入框架和模结构，提出了一种新的知识图谱嵌入模型 ModulE，取得了多个基准数据集上的最先进性能。

    Mar, 2022

  • 在复数空间中使用共轭共享参数的知识图嵌入

    本文介绍了一种改进的参数共享方法，通过使用在 Knowledge Graph Embedding 模型中使用的复数的共轭参数以减少计算资源的使用，并在性能上与最先进的非共轭模型相媲美或更快地完成训练。

    Apr, 2024

  • 三角丰富复杂网络低秩表示的不可能性

    本文研究了复杂网络的图嵌入，发现该方法无法捕捉复杂网络的重要特征，尤其是低度和大聚集系数。通过数学证明和实证研究，本文认为这种图嵌入技术不适用于揭示真实世界复杂网络的结构特征。

    Mar, 2020

  • 四元数图神经网络

    本研究提出四元数图神经网络（QGNN）并将其应用于图分类和节点分类等领域，同时在知识图谱完成任务中取得了最优结果。

    Aug, 2020

  • 在知识图谱上嵌入逻辑查询

    本研究提出了一种基于低维嵌入空间中的几何运算来有效处理知识图谱中逻辑查询的框架，能够在处理复杂查询时提高时间复杂度，这种方法应用于真实世界数据中能够提供有用的预测能力。

    Jun, 2018

  • 基于几何代数嵌入的静态和时态知识图完成

    本论文使用几何代数和张量分解提出了一种新的知识图谱表示学习方法 GeomE 和 TGeomE，用于解决深度学习中的时序数据问题。结果表明，该方法在四个常用的静态 KG 数据集和四个知名的时间 KG 数据集上实现了最先进的性能。

    Feb, 2022

  • 随机几何代数方法用于凸神经网络

    我们引入了随机算法到 Clifford 几何代数，将随机线性代数推广到超复向量空间。这种新颖的方法在机器学习中有很多涵义，包括通过凸优化将神经网络训练到全局最优。此外，我们考虑了细调大型语言模型（LLM）中的嵌入作为一个关键应用领域，探索几何代数和现代人工智能技术的交叉点。特别地，我们通过传统方法与基于凸优化的新方法进行了鲁棒的转移学习的比较分析，其中测试了不同嵌入（GPT-4 和 BERT 嵌入）和不同文本分类数据集（IMDb、Amazon Polarity Dataset 和 GLUE）以及一系列超参数设置的凸优化传输学习方法。我们的结果表明，凸优化和几何代数不仅提高了 LLMs 的性能，还提供了一种更稳定和可靠的传输学习方法通过嵌入。

    Jun, 2024