ACLMay, 2023

使用生成模型进行多样化形式实体链接的基准测试

PDF
TL;DR提出了一种基于多模态编码器 - 解码器范式的生成模型，用于对广泛多种格式的实体进行链接，并在现有 EL 数据集中建立了覆盖文本、图像和表格三种多模态的基准，经预训练和微调后能表现比特定任务 EL 模型更强的 DMEL 基线，相比其它方法平均提高 8.51 的 F1 得分。
entity linkingdiverse-modalmultimodal-encoder-decodergenerative modeldmel
发现论文，激发创造
  • 生成式多模态实体链接

    在大规模预训练模型的基础上，提出了一种基于自然语言生成的简单而有效的跨模态实体链接方法，通过使用 in-context learning 能力以及取回多模态实例作为演示来自适应语言模型来解决昂贵且难以扩展的困境。

    Jun, 2023

  • WikiDiverse：一个多模态的实体链接数据集，具有多样化的上下文主题和实体类型

    本研究提出了 WikiDiverse，一个高质量的人工注释的 Multimodal Entity Linking（MEL）数据集，利用该数据集提出了一系列好的基于 intra-modality 和 inter-modality attentions 的 MEL 模型，比现有的 MEL 模型更充分利用图像的视觉信息，并通过大量实验分析了不同模态在 MEL 任务中的贡献。

    Apr, 2022

  • 多模式生成嵌入模型

    多模态生成嵌入模型能够同时处理多模态任务，在效率上具有竞争力，具备良好的图像标题生成和文本图像检索能力。

    May, 2024

  • 一种基于文本匹配的双向增强框架的多模态实体链接

    多模态实体链接的双向增强框架 (DWE) 通过神经文本匹配将多模态信息与知识图谱中的实体进行链接，并利用维基百科描述来丰富实体的语义和减少实体之间的文本表示与知识图谱中实体的差异。

    Dec, 2023

  • 推文的多模态实体链接

    本文探讨多模态实体链接的任务，提出了一种方法来构建一个完全注释的 Twitter 数据集，同时提出了一种同时学习文本和视觉内容的方法来构建一个实体和言及的表征，并在 Twitter 数据集上验证了该方法的有效性，并强调在可用时，利用视觉信息的重要性。

    Apr, 2021

  • DWE+: 多模态实体链接增强框架

    通过提出细粒度图像特征提取、视觉属性融合和语义丰富的方法，DWE + 模型在多模态实体链接中取得了显著的性能提升，优化了相关数据集并达到了最先进的表现。

    Apr, 2024

  • 多语种实体链接基于密集检索

    实体链接是将文本提及与相应实体连接的计算过程。本论文通过开发多个系统，证明了即使资源有限，也可以构建在多种语言中运作的竞争性神经网络实体链接系统，从而使实体链接更容易接近。

    May, 2024

  • 实体链接的多粒度多模态交互网络

    本文提出了一种名为多维多模态交互网络（MIMIC）的框架，用于解决多模态实体链接（MEL）任务，并通过对相互作用单元和对比学习的设计，将简洁文本和隐含视觉线索的精细表示结合起来，实现了更好的性能，超过了各种最先进的基准模型。

    Jul, 2023

  • AMELI：细粒度属性增强的多模态实体链接

    提出了属性感知的多模态实体链接技术，利用多模态知识库中每个实体的文本描述、图片和属性值，结合 18,472 个评论和 35,598 个产品的大型数据集 AMELI，揭示属性信息在实体链接过程中的重要性，建立了该领域的基准数据集和解决方案。

    May, 2023

  • 受指导的语言模型结合检索器是强大的实体链接器

    通过指导性生成实体连接器，使常规语言模型在大规模知识库上能够进行实体连接，有助于克服生成模型的虚幻性，提高链接表现并提高数据和计算效率。

    Nov, 2023