多模态实体链接的双向增强框架 (DWE) 通过神经文本匹配将多模态信息与知识图谱中的实体进行链接，并利用维基百科描述来丰富实体的语义和减少实体之间的文本表示与知识图谱中实体的差异。

Dec, 2023

本文探讨多模态实体链接的任务，提出了一种方法来构建一个完全注释的 Twitter 数据集，同时提出了一种同时学习文本和视觉内容的方法来构建一个实体和言及的表征，并在 Twitter 数据集上验证了该方法的有效性，并强调在可用时，利用视觉信息的重要性。

Apr, 2021

在大规模预训练模型的基础上，提出了一种基于自然语言生成的简单而有效的跨模态实体链接方法，通过使用 in-context learning 能力以及取回多模态实例作为演示来自适应语言模型来解决昂贵且难以扩展的困境。

Jun, 2023

本研究提出了 WikiDiverse，一个高质量的人工注释的 Multimodal Entity Linking（MEL）数据集，利用该数据集提出了一系列好的基于 intra-modality 和 inter-modality attentions 的 MEL 模型，比现有的 MEL 模型更充分利用图像的视觉信息，并通过大量实验分析了不同模态在 MEL 任务中的贡献。

Apr, 2022

本文提出了一种名为多维多模态交互网络（MIMIC）的框架，用于解决多模态实体链接（MEL）任务，并通过对相互作用单元和对比学习的设计，将简洁文本和隐含视觉线索的精细表示结合起来，实现了更好的性能，超过了各种最先进的基准模型。

Jul, 2023

提出了属性感知的多模态实体链接技术，利用多模态知识库中每个实体的文本描述、图片和属性值，结合 18,472 个评论和 35,598 个产品的大型数据集 AMELI，揭示属性信息在实体链接过程中的重要性，建立了该领域的基准数据集和解决方案。

May, 2023

多模态实体链接是一项旨在将多模态情境中的歧义提及链接到多模态知识库中指代实体的任务。本研究提出了一种名为动态关系交互网络（DRIN）的新框架，用于处理 MEL 任务，并通过实验证明 DRIN 在两个数据集上优于现有方法。

Oct, 2023

提出了一种基于多模态编码器 - 解码器范式的生成模型，用于对广泛多种格式的实体进行链接，并在现有 EL 数据集中建立了覆盖文本、图像和表格三种多模态的基准，经预训练和微调后能表现比特定任务 EL 模型更强的 DMEL 基线，相比其它方法平均提高 8.51 的 F1 得分。

May, 2023

本文介绍了 DWIE，即 “德国之声信息提取语料库”，它是一个多任务数据集，结合了四个主要的信息提取子任务：命名实体识别，共指解析，关系抽取和实体链接。该数据集是以实体为中心的，描述了概念实体的交互和属性，并提出了一种新的基于实体的度量标准以及基于图神经网络的模型用于跨文档共享信息跨任务训练。实验表明，这个模型在 DWIE 数据集上取得了 5.5 个 F1 的提升，因此具有促进多任务信息提取中的图神经网络表示学习方面的研究潜力。

Sep, 2020

本文提出了一种新的多模态关系提取框架，称为 DGF-PT，该框架旨在更好地捕捉文本、实体对和图像 / 对象之间的更深层次的相关性，以挖掘更有用的信息，并且通过引入对实体类型的限制，更好地过滤候选关系。

Jun, 2023