多模态实体对齐 (MMEA) 是一个关键任务，旨在识别多模态知识图谱 (MMKGs) 中的等效实体对。我们提出了一种名为 MoAlign 的新颖 MMEA transformer，通过引入邻居特征、多模态属性和实体类型来增强对齐任务。利用 transformer 的能力更好地集成多重信息，我们设计了一个层次可修改的自注意力块在 transformer 编码器中，以保留不同信息的独特语义。此外，我们设计了两种实体类型前缀注入方法，使用类型前缀来整合实体类型信息，有助于限制 MMKGs 中不存在的实体的全局信息。我们在基准数据集上进行了广泛实验，证明我们的方法优于强竞争对手，且实现了出色的实体对齐性能。

Oct, 2023

在多模态实体对齐研究中，我们发现当前模型普遍面临视觉模态不完整性、遗漏模态和模态歧义带来的挑战。为了解决这些问题，我们提出了 UMAEA 方法，通过有效减少参数和时间消耗，显著超越现有基准，并成功缓解了其他模型存在的限制。

Jul, 2023

本文提出一种基于一致性约束的知识图谱表征学习框架 ACK-MMEA，该框架通过融合一致的对齐知识来弥补因特定模式上对齐实体具有不同数量的属性而产生的上下文差距问题。我们的后续实验表明，相较于竞争方法，本文所提出的方法在两个基准数据集上取得了良好的性能。

Apr, 2023

我们提出了一种半监督的伪标签校准多模态实体对齐方法 (PCMEA)，通过利用多模态信息的视觉、结构、关系和属性特征，最大化互信息来过滤模态特定的噪声和增加模态不变的共性，结合动量对比学习和伪标签校准，提高伪标签的质量和对齐实体的准确性。我们在两个多模态实体对齐数据集上进行了大量实验证明了我们的方法的有效性，并取得了最先进的性能。

Mar, 2024

本文提出了一种基于对比学习的多模态实体对齐模型 MCLEA，该模型首先从不同的模态学习单独的表征，然后进行对比学习来联合建模模态内和模态间的交互关系，并在公共数据集上在有监督和无监督设置下表现优于现有技术。

Sep, 2022

该研究提出了 Informed Multi-context Entity Alignment (IMEA) 模型，使用 Transformer 来灵活捕获关系、路径和邻域上下文，并通过综合推理估计对齐概率，通过提出的软标签编辑将对齐证据注入回 Transformer 中，从而提高实体对齐的性能。

Jan, 2022

本研究提出了一种新的多模态实体对齐方法，构建在超伪椭球流形的基础上，通过结构和视觉信息相结合，提高了多模态知识图谱的准确性和完整性。

Jun, 2021

我们提出了 PathFusion 方法，通过构建连接实体和模态节点的路径来代表多模态信息，进而有效地将不同模态的信息进行融合，实验证明了 PathFusion 方法在实际数据集上的优越性。

Oct, 2023

本研究提出了一种基于互信息最大化和最小化以及身份嵌入（MMMIE）的多模态表示模型，以更好地应对不同模态之间的异质性差距和上下文动态。实验结果表明，该模型在两个公共数据集上的表现具有有效性。

Jan, 2022

通过提出一种基于 Transformer 架构的 SNAG 方法，结合多模态实体特征在知识图谱中进行鲁棒的集成，本研究在多模态预训练的基础上，展示了在多模态知识图谱完成和多模态实体对齐两个任务中的领先性能，同时还具有增强其他现有方法的稳定性和性能改进的功能。

Mar, 2024