KDDJul, 2023

实体链接的多粒度多模态交互网络

PDF
TL;DR本文提出了一种名为多维多模态交互网络（MIMIC）的框架，用于解决多模态实体链接（MEL）任务，并通过对相互作用单元和对比学习的设计，将简洁文本和隐含视觉线索的精细表示结合起来，实现了更好的性能，超过了各种最先进的基准模型。
multimodal entity linkingmimic frameworkinteraction unitscontrastive learningstate-of-the-art baselines
发现论文，激发创造
  • 生成式多模态实体链接

    在大规模预训练模型的基础上，提出了一种基于自然语言生成的简单而有效的跨模态实体链接方法，通过使用 in-context learning 能力以及取回多模态实例作为演示来自适应语言模型来解决昂贵且难以扩展的困境。

    Jun, 2023

  • DRIN：动态关系互动网络用于多模态实体链接

    多模态实体链接是一项旨在将多模态情境中的歧义提及链接到多模态知识库中指代实体的任务。本研究提出了一种名为动态关系交互网络（DRIN）的新框架，用于处理 MEL 任务，并通过实验证明 DRIN 在两个数据集上优于现有方法。

    Oct, 2023

  • 推文的多模态实体链接

    本文探讨多模态实体链接的任务，提出了一种方法来构建一个完全注释的 Twitter 数据集，同时提出了一种同时学习文本和视觉内容的方法来构建一个实体和言及的表征，并在 Twitter 数据集上验证了该方法的有效性，并强调在可用时，利用视觉信息的重要性。

    Apr, 2021

  • 一种基于文本匹配的双向增强框架的多模态实体链接

    多模态实体链接的双向增强框架 (DWE) 通过神经文本匹配将多模态信息与知识图谱中的实体进行链接，并利用维基百科描述来丰富实体的语义和减少实体之间的文本表示与知识图谱中实体的差异。

    Dec, 2023

  • DWE+: 多模态实体链接增强框架

    通过提出细粒度图像特征提取、视觉属性融合和语义丰富的方法，DWE + 模型在多模态实体链接中取得了显著的性能提升，优化了相关数据集并达到了最先进的表现。

    Apr, 2024

  • AMELI：细粒度属性增强的多模态实体链接

    提出了属性感知的多模态实体链接技术，利用多模态知识库中每个实体的文本描述、图片和属性值，结合 18,472 个评论和 35,598 个产品的大型数据集 AMELI，揭示属性信息在实体链接过程中的重要性，建立了该领域的基准数据集和解决方案。

    May, 2023

  • MMICL: 视觉语言模型的多模态上下文学习

    通过考虑模型和数据的角度，提出了 MMICL 去解决图像与文本交叉多模态提示的问题，通过无需训练的数据更好地适应用户真实应用中复杂的提示，其中包括多模态上下文与交叉的图像和文本、每个图像的文本参考以及具有空间、逻辑或时间关系的多图像数据。在广泛的视觉 - 语言任务中，特别是在复杂推理基准测试中，MMICL 取得了新的最先进的零样本和少样本性能。同时，对 ScienceQA-IMG 上的实验表明 MMICL 成功缓解了视觉 - 语言模型中的语言偏差问题，我们相信这是 MMICL 卓越性能背后的原因。

    Sep, 2023

  • WikiDiverse：一个多模态的实体链接数据集，具有多样化的上下文主题和实体类型

    本研究提出了 WikiDiverse，一个高质量的人工注释的 Multimodal Entity Linking（MEL）数据集，利用该数据集提出了一系列好的基于 intra-modality 和 inter-modality attentions 的 MEL 模型，比现有的 MEL 模型更充分利用图像的视觉信息，并通过大量实验分析了不同模态在 MEL 任务中的贡献。

    Apr, 2022

  • IMF：交互式多模态融合模型用于链接预测

    该研究提出了一种交互式多模态融合技术，可在保留各自模态特征的同时，更好地融合来自不同模态的知识，以实现更好的链接预测效果，并在多个真实世界数据集上进行了实证评估。

    Mar, 2023

  • 命名实体识别的平面多模互动变压器

    本文提出了一种基于 Flat Multi-modal Interaction Transformer 的多模态命名实体识别方法，通过新颖的相对位置编码匹配不同的模式，以及通过实体边界检测作为辅助任务减轻视觉偏见，实现了对社交媒体帖子中的文本和图片进行 NLP 任务的高效准确识别，取得了业界新的最佳性能表现。

    Aug, 2022