Mar, 2024

噪声的威力：朝着统一的多模态知识图表示框架

PDF
TL;DR通过提出一种基于 Transformer 架构的 SNAG 方法，结合多模态实体特征在知识图谱中进行鲁棒的集成，本研究在多模态预训练的基础上，展示了在多模态知识图谱完成和多模态实体对齐两个任务中的领先性能，同时还具有增强其他现有方法的稳定性和性能改进的功能。
multi-modal pre-trainingmulti-modal knowledge graph representation learning frameworkmulti-modal knowledge graph completionmulti-modal entity alignmentsnag method
发现论文，激发创造
  • 多模态知识图谱下的多模态推理

    提出了一种利用多模态知识图 (MMKGs) 进行多模态推理的方法 (MR-MKG)，通过利用多模态知识图 (MMKGs) 跨模态地学习丰富的语义知识，显著提高了大型语言模型 (LLMs) 在多模态推理中的能力。通过在仅使用 LLM 参数的 2.25% 进行训练，MR-MKG 在多模态问答和多模态类比推理任务上取得了优越的性能，胜过了之前的最新模型。

    Jun, 2024

  • 多模态知识图谱转换框架用于多模态实体对齐

    多模态实体对齐 (MMEA) 是一个关键任务，旨在识别多模态知识图谱 (MMKGs) 中的等效实体对。我们提出了一种名为 MoAlign 的新颖 MMEA transformer，通过引入邻居特征、多模态属性和实体类型来增强对齐任务。利用 transformer 的能力更好地集成多重信息，我们设计了一个层次可修改的自注意力块在 transformer 编码器中，以保留不同信息的独特语义。此外，我们设计了两种实体类型前缀注入方法，使用类型前缀来整合实体类型信息，有助于限制 MMKGs 中不存在的实体的全局信息。我们在基准数据集上进行了广泛实验，证明我们的方法优于强竞争对手，且实现了出色的实体对齐性能。

    Oct, 2023

  • 多模态实体对齐的属性一致知识图表示学习

    本文提出一种基于一致性约束的知识图谱表征学习框架 ACK-MMEA，该框架通过融合一致的对齐知识来弥补因特定模式上对齐实体具有不同数量的属性而产生的上下文差距问题。我们的后续实验表明，相较于竞争方法，本文所提出的方法在两个基准数据集上取得了良好的性能。

    Apr, 2023

  • 混合模态知识专家用于鲁棒的多模态知识图补全

    多模态知识图谱补全 (MMKGC) 旨在通过协同建模大量三元组中隐藏的结构信息和实体的多模态特征，自动发现给定的多模态知识图谱中的新知识三元组。我们引入了一种新颖的 MMKGC 框架，即混合模态知识专家 (MoMoK)，来学习在复杂关系环境下自适应的多模态嵌入。通过设计关系指导的模态知识专家来获取关系感知的模态嵌入，并整合多模态的预测结果以实现全面的决策。此外，通过最小化它们的互信息来解开这些专家之间的联系。在四个公开的 MMKG 基准上的实验证明了 MoMoK 在复杂情境下的出色性能。

    May, 2024

  • 多模态知识图谱完成的多层级融合混合变压器

    本文提出了一种具有多级融合和混合变压器结构的 Multimodal Knowledge Graphs，用于解决多模态知识图谱完成任务中的问题，并在四个数据集上取得了 SOTA 性能。

    May, 2022

  • MMKGR: 多跳多模态知识图谱推理

    本研究提出了一种名为 MMKGR 的新型模型，其中包含一种统一的门 - 关注网络和一种补充特征感知的强化学习方法，通过有效的多模态补充特征和多次迭代推理，能够更好地实现知识图谱方面的任务，与现有方法相比推理性能更好。

    Sep, 2022

  • NativE: 野外多模态知识图谱补全

    提出了一种名为 NativE 的综合框架，用于实现野外多模态知识图谱补全，该框架通过关系引导的双重自适应融合模块实现任意模态的自适应融合，并采用协作模态对抗训练框架来增强不平衡的模态信息，实验结果表明，该方法在不同数据集和各种场景下始终保持高效且可推广的最先进性能。

    Mar, 2024

  • MoSE: 多模态知识图谱补全的模态切分与集成

    本文中提出的 MoSE 框架通过学习分解关系嵌入和集成预测结果，成功地解决了不同模式下关系表示共享的问题，以及不同模式下关系重要性的动态建模问题。

    Oct, 2022

  • 在双曲空间中的多模态实体对齐

    本研究提出了一种新的多模态实体对齐方法，构建在超伪椭球流形的基础上，通过结构和视觉信息相结合，提高了多模态知识图谱的准确性和完整性。

    Jun, 2021

  • 多模态知识图谱

    MMKG 是一个包含数字特征和图像链接的三个知识图谱集合，可以帮助多重关系链接预测和实体匹配社区，并且具有潜力促进知识图谱的新型多模态学习方法的发展。我们通过大量实验验证了 MMKG 在同 As 链接预测任务中的效用，并显示出多元特征类型学习对这一任务的益处。

    Mar, 2019