Oct, 2023

多模态知识图谱转换框架用于多模态实体对齐

PDF
TL;DR多模态实体对齐 (MMEA) 是一个关键任务，旨在识别多模态知识图谱 (MMKGs) 中的等效实体对。我们提出了一种名为 MoAlign 的新颖 MMEA transformer，通过引入邻居特征、多模态属性和实体类型来增强对齐任务。利用 transformer 的能力更好地集成多重信息，我们设计了一个层次可修改的自注意力块在 transformer 编码器中，以保留不同信息的独特语义。此外，我们设计了两种实体类型前缀注入方法，使用类型前缀来整合实体类型信息，有助于限制 MMKGs 中不存在的实体的全局信息。我们在基准数据集上进行了广泛实验，证明我们的方法优于强竞争对手，且实现了出色的实体对齐性能。
multi-modal entity alignmentmmeamoaligntransformerentity alignment
发现论文，激发创造
  • 利用内模态和跨模态交互进行多模态实体对齐

    提出了一种用于多模态实体对齐的多粒度交互框架（MIMEA），其能够在同一模态或不同模态之间有效实现多粒度交互，并通过四个模块来完成：多模态知识嵌入模块、概率引导的模态融合模块、最优传输模态对齐模块和模态自适应对比学习模块。与其他方法相比，MIMEA 在两个真实世界数据集上进行的大量实验证明了其较强的性能。

    Apr, 2024

  • 多模态实体对齐的属性一致知识图表示学习

    本文提出一种基于一致性约束的知识图谱表征学习框架 ACK-MMEA，该框架通过融合一致的对齐知识来弥补因特定模式上对齐实体具有不同数量的属性而产生的上下文差距问题。我们的后续实验表明，相较于竞争方法，本文所提出的方法在两个基准数据集上取得了良好的性能。

    Apr, 2023

  • 多模态实体对齐中的不确定缺失和模糊视觉模态的重新思考

    在多模态实体对齐研究中，我们发现当前模型普遍面临视觉模态不完整性、遗漏模态和模态歧义带来的挑战。为了解决这些问题，我们提出了 UMAEA 方法，通过有效减少参数和时间消耗，显著超越现有基准，并成功缓解了其他模型存在的限制。

    Jul, 2023

  • 伪标签校准半监督多模态实体对齐

    我们提出了一种半监督的伪标签校准多模态实体对齐方法 (PCMEA)，通过利用多模态信息的视觉、结构、关系和属性特征，最大化互信息来过滤模态特定的噪声和增加模态不变的共性，结合动量对比学习和伪标签校准，提高伪标签的质量和对齐实体的准确性。我们在两个多模态实体对齐数据集上进行了大量实验证明了我们的方法的有效性，并取得了最先进的性能。

    Mar, 2024

  • 在双曲空间中的多模态实体对齐

    本研究提出了一种新的多模态实体对齐方法，构建在超伪椭球流形的基础上，通过结构和视觉信息相结合，提高了多模态知识图谱的准确性和完整性。

    Jun, 2021

  • 多上下文知识对齐

    该研究提出了 Informed Multi-context Entity Alignment (IMEA) 模型，使用 Transformer 来灵活捕获关系、路径和邻域上下文，并通过综合推理估计对齐概率，通过提出的软标签编辑将对齐证据注入回 Transformer 中，从而提高实体对齐的性能。

    Jan, 2022

  • 噪声的威力：朝着统一的多模态知识图表示框架

    通过提出一种基于 Transformer 架构的 SNAG 方法，结合多模态实体特征在知识图谱中进行鲁棒的集成，本研究在多模态预训练的基础上，展示了在多模态知识图谱完成和多模态实体对齐两个任务中的领先性能，同时还具有增强其他现有方法的稳定性和性能改进的功能。

    Mar, 2024

  • 双管齐下：将知识图谱和大型语言模型的知识融合用于实体对齐

    该研究提出了一种基于大型语言模型增强的实体对齐框架（LLMEA），将知识图谱的结构知识与大型语言模型的语义知识相结合，以提升实体对齐的效果。实验结果表明，LLMEA 优于其他基线模型，进一步剖析试验证实了我们提出框架的效能。

    Jan, 2024

  • 多模态对比表示学习用于实体对齐

    本文提出了一种基于对比学习的多模态实体对齐模型 MCLEA，该模型首先从不同的模态学习单独的表征，然后进行对比学习来联合建模模态内和模态间的交互关系，并在公共数据集上在有监督和无监督设置下表现优于现有技术。

    Sep, 2022

  • 基于边缘增强图对齐网络与词对关系标记的联合多模态实体关系抽取

    本研究提出一种新的联合多模态实体关系抽取任务方法，结合了多模态命名实体识别和多模态关系提取的相互作用，使用增强边缘对齐的图形对齐网络和词对关系标记来增强该任务，它能够发现实体 - 实体关系和对象 - 对象关系之间的关联性。

    Nov, 2022