多模态知识图谱补全 (MMKGC) 旨在通过协同建模大量三元组中隐藏的结构信息和实体的多模态特征，自动发现给定的多模态知识图谱中的新知识三元组。我们引入了一种新颖的 MMKGC 框架，即混合模态知识专家 (MoMoK)，来学习在复杂关系环境下自适应的多模态嵌入。通过设计关系指导的模态知识专家来获取关系感知的模态嵌入，并整合多模态的预测结果以实现全面的决策。此外，通过最小化它们的互信息来解开这些专家之间的联系。在四个公开的 MMKG 基准上的实验证明了 MoMoK 在复杂情境下的出色性能。

May, 2024

提出了一种名为 NativE 的综合框架，用于实现野外多模态知识图谱补全，该框架通过关系引导的双重自适应融合模块实现任意模态的自适应融合，并采用协作模态对抗训练框架来增强不平衡的模态信息，实验结果表明，该方法在不同数据集和各种场景下始终保持高效且可推广的最先进性能。

Mar, 2024

提出了一种对抗式和对比式的多模态知识图完善框架（MACO），用于解决多模态知识图完善中的缺失模态问题，并通过交叉模态对比损失来改进生成器表现。实验证明 MACO 可在公共基准上取得最先进的结果，并能为各种多模态知识图完善模型提供一个多功能的框架。

Aug, 2023

介绍了一种名为 MyGO 的新框架，用于处理、融合和增强多模态知识图中的细粒度数据，并通过对实体的对比学习来突出表示的特异性，实验证明该方法在标准多模态知识图完成基准测试中的性能优于最新模型中的 20 个以上。

Apr, 2024

通过提出一种基于 Transformer 架构的 SNAG 方法，结合多模态实体特征在知识图谱中进行鲁棒的集成，本研究在多模态预训练的基础上，展示了在多模态知识图谱完成和多模态实体对齐两个任务中的领先性能，同时还具有增强其他现有方法的稳定性和性能改进的功能。

Mar, 2024

提出了一个基于 VisualBERT 的增强型知识图谱补全模型 (VBKGC)，其采用了双胞胎负采样策略，能够捕捉基于嵌入的多模态信息并将其集成到 KGC 模型中，具有优秀的链路预测任务表现。

Sep, 2022

通过提出 MMKGL（Multi-modal Multi-Kernel Graph Learning）来解决多模态图学习的问题，利用该方法提取多模态图中的异质信息，基于 Autism Brain Imaging Data Exchange (ABIDE) 数据集进行评估并识别与自闭症相关的脑区。

Mar, 2023

提出了一种利用多模态知识图 (MMKGs) 进行多模态推理的方法 (MR-MKG)，通过利用多模态知识图 (MMKGs) 跨模态地学习丰富的语义知识，显著提高了大型语言模型 (LLMs) 在多模态推理中的能力。通过在仅使用 LLM 参数的 2.25% 进行训练，MR-MKG 在多模态问答和多模态类比推理任务上取得了优越的性能，胜过了之前的最新模型。

Jun, 2024

本研究提出了一种名为 MMKGR 的新型模型，其中包含一种统一的门 - 关注网络和一种补充特征感知的强化学习方法，通过有效的多模态补充特征和多次迭代推理，能够更好地实现知识图谱方面的任务，与现有方法相比推理性能更好。

Sep, 2022

本文中提出的 MoSE 框架通过学习分解关系嵌入和集成预测结果，成功地解决了不同模式下关系表示共享的问题，以及不同模式下关系重要性的动态建模问题。

Oct, 2022