多模态实体对齐 (MMEA) 是一个关键任务，旨在识别多模态知识图谱 (MMKGs) 中的等效实体对。我们提出了一种名为 MoAlign 的新颖 MMEA transformer，通过引入邻居特征、多模态属性和实体类型来增强对齐任务。利用 transformer 的能力更好地集成多重信息，我们设计了一个层次可修改的自注意力块在 transformer 编码器中，以保留不同信息的独特语义。此外，我们设计了两种实体类型前缀注入方法，使用类型前缀来整合实体类型信息，有助于限制 MMKGs 中不存在的实体的全局信息。我们在基准数据集上进行了广泛实验，证明我们的方法优于强竞争对手，且实现了出色的实体对齐性能。

Oct, 2023

提出了一种用于多模态实体对齐的多粒度交互框架（MIMEA），其能够在同一模态或不同模态之间有效实现多粒度交互，并通过四个模块来完成：多模态知识嵌入模块、概率引导的模态融合模块、最优传输模态对齐模块和模态自适应对比学习模块。与其他方法相比，MIMEA 在两个真实世界数据集上进行的大量实验证明了其较强的性能。

Apr, 2024

在多模态实体对齐研究中，我们发现当前模型普遍面临视觉模态不完整性、遗漏模态和模态歧义带来的挑战。为了解决这些问题，我们提出了 UMAEA 方法，通过有效减少参数和时间消耗，显著超越现有基准，并成功缓解了其他模型存在的限制。

Jul, 2023

本研究提出了一种新的多模态实体对齐方法，构建在超伪椭球流形的基础上，通过结构和视觉信息相结合，提高了多模态知识图谱的准确性和完整性。

Jun, 2021

通过提出一种基于 Transformer 架构的 SNAG 方法，结合多模态实体特征在知识图谱中进行鲁棒的集成，本研究在多模态预训练的基础上，展示了在多模态知识图谱完成和多模态实体对齐两个任务中的领先性能，同时还具有增强其他现有方法的稳定性和性能改进的功能。

Mar, 2024

我们提出了一种半监督的伪标签校准多模态实体对齐方法 (PCMEA)，通过利用多模态信息的视觉、结构、关系和属性特征，最大化互信息来过滤模态特定的噪声和增加模态不变的共性，结合动量对比学习和伪标签校准，提高伪标签的质量和对齐实体的准确性。我们在两个多模态实体对齐数据集上进行了大量实验证明了我们的方法的有效性，并取得了最先进的性能。

Mar, 2024

MMKG 是一个包含数字特征和图像链接的三个知识图谱集合，可以帮助多重关系链接预测和实体匹配社区，并且具有潜力促进知识图谱的新型多模态学习方法的发展。我们通过大量实验验证了 MMKG 在同 As 链接预测任务中的效用，并显示出多元特征类型学习对这一任务的益处。

Mar, 2019

本文提出了一种基于对比学习的多模态实体对齐模型 MCLEA，该模型首先从不同的模态学习单独的表征，然后进行对比学习来联合建模模态内和模态间的交互关系，并在公共数据集上在有监督和无监督设置下表现优于现有技术。

Sep, 2022

该研究提出了一种基于大型语言模型增强的实体对齐框架（LLMEA），将知识图谱的结构知识与大型语言模型的语义知识相结合，以提升实体对齐的效果。实验结果表明，LLMEA 优于其他基线模型，进一步剖析试验证实了我们提出框架的效能。

Jan, 2024

提出了一种利用多模态知识图 (MMKGs) 进行多模态推理的方法 (MR-MKG)，通过利用多模态知识图 (MMKGs) 跨模态地学习丰富的语义知识，显著提高了大型语言模型 (LLMs) 在多模态推理中的能力。通过在仅使用 LLM 参数的 2.25% 进行训练，MR-MKG 在多模态问答和多模态类比推理任务上取得了优越的性能，胜过了之前的最新模型。

Jun, 2024