在双曲空间中的多模态实体对齐
多模态实体对齐 (MMEA) 是一个关键任务,旨在识别多模态知识图谱 (MMKGs) 中的等效实体对。我们提出了一种名为 MoAlign 的新颖 MMEA transformer,通过引入邻居特征、多模态属性和实体类型来增强对齐任务。利用 transformer 的能力更好地集成多重信息,我们设计了一个层次可修改的自注意力块在 transformer 编码器中,以保留不同信息的独特语义。此外,我们设计了两种实体类型前缀注入方法,使用类型前缀来整合实体类型信息,有助于限制 MMKGs 中不存在的实体的全局信息。我们在基准数据集上进行了广泛实验,证明我们的方法优于强竞争对手,且实现了出色的实体对齐性能。
Oct, 2023
提出了一种用于多模态实体对齐的多粒度交互框架(MIMEA),其能够在同一模态或不同模态之间有效实现多粒度交互,并通过四个模块来完成:多模态知识嵌入模块、概率引导的模态融合模块、最优传输模态对齐模块和模态自适应对比学习模块。与其他方法相比,MIMEA 在两个真实世界数据集上进行的大量实验证明了其较强的性能。
Apr, 2024
本文提出一种基于一致性约束的知识图谱表征学习框架 ACK-MMEA,该框架通过融合一致的对齐知识来弥补因特定模式上对齐实体具有不同数量的属性而产生的上下文差距问题。我们的后续实验表明,相较于竞争方法,本文所提出的方法在两个基准数据集上取得了良好的性能。
Apr, 2023
本文提出了一种新颖的多通道图神经网络模型(MuGNN),通过多通道鲁棒地编码两个知识图谱,以学习面向对齐的知识图谱嵌入。每个通道通过不同的关系加权方案对知识图谱进行编码,并通过汇聚技术进行进一步的合并。我们还推断并转移规则知识以便两个知识图谱一致完成。大量实验证明我们的方法可以更好地使用种子对齐,提高了 5%以上的平均 Hits@1 性能。
Aug, 2019
该研究提出了 Informed Multi-context Entity Alignment (IMEA) 模型,使用 Transformer 来灵活捕获关系、路径和邻域上下文,并通过综合推理估计对齐概率,通过提出的软标签编辑将对齐证据注入回 Transformer 中,从而提高实体对齐的性能。
Jan, 2022
本文提出了一种基于对比学习的多模态实体对齐模型 MCLEA,该模型首先从不同的模态学习单独的表征,然后进行对比学习来联合建模模态内和模态间的交互关系,并在公共数据集上在有监督和无监督设置下表现优于现有技术。
Sep, 2022
该研究提出了一种基于大型语言模型增强的实体对齐框架(LLMEA),将知识图谱的结构知识与大型语言模型的语义知识相结合,以提升实体对齐的效果。实验结果表明,LLMEA 优于其他基线模型,进一步剖析试验证实了我们提出框架的效能。
Jan, 2024
本文提出了一种使用逻辑推理和多模态知识图谱嵌入的新型多模态实体对齐方法 LODEME,它能准确地利用多模态信息,实现对常见多模态知识图谱中图像特征的提取和利用。Lodeme 在包含图像的八个大规模知识图谱对比数据集上实现了最先进的表现。
Feb, 2023
通过提出一种基于 Transformer 架构的 SNAG 方法,结合多模态实体特征在知识图谱中进行鲁棒的集成,本研究在多模态预训练的基础上,展示了在多模态知识图谱完成和多模态实体对齐两个任务中的领先性能,同时还具有增强其他现有方法的稳定性和性能改进的功能。
Mar, 2024