Apr, 2021

推文的多模态实体链接

PDF
TL;DR本文探讨多模态实体链接的任务，提出了一种方法来构建一个完全注释的 Twitter 数据集，同时提出了一种同时学习文本和视觉内容的方法来构建一个实体和言及的表征，并在 Twitter 数据集上验证了该方法的有效性，并强调在可用时，利用视觉信息的重要性。
entity linkingmultimodal entity linkingknowledge basetextual informationvisual information
发现论文，激发创造
  • 生成式多模态实体链接

    在大规模预训练模型的基础上，提出了一种基于自然语言生成的简单而有效的跨模态实体链接方法，通过使用 in-context learning 能力以及取回多模态实例作为演示来自适应语言模型来解决昂贵且难以扩展的困境。

    Jun, 2023

  • 一种基于文本匹配的双向增强框架的多模态实体链接

    多模态实体链接的双向增强框架 (DWE) 通过神经文本匹配将多模态信息与知识图谱中的实体进行链接，并利用维基百科描述来丰富实体的语义和减少实体之间的文本表示与知识图谱中实体的差异。

    Dec, 2023

  • WikiDiverse：一个多模态的实体链接数据集，具有多样化的上下文主题和实体类型

    本研究提出了 WikiDiverse，一个高质量的人工注释的 Multimodal Entity Linking（MEL）数据集，利用该数据集提出了一系列好的基于 intra-modality 和 inter-modality attentions 的 MEL 模型，比现有的 MEL 模型更充分利用图像的视觉信息，并通过大量实验分析了不同模态在 MEL 任务中的贡献。

    Apr, 2022

  • DWE+: 多模态实体链接增强框架

    通过提出细粒度图像特征提取、视觉属性融合和语义丰富的方法，DWE + 模型在多模态实体链接中取得了显著的性能提升，优化了相关数据集并达到了最先进的表现。

    Apr, 2024

  • AMELI：细粒度属性增强的多模态实体链接

    提出了属性感知的多模态实体链接技术，利用多模态知识库中每个实体的文本描述、图片和属性值，结合 18,472 个评论和 35,598 个产品的大型数据集 AMELI，揭示属性信息在实体链接过程中的重要性，建立了该领域的基准数据集和解决方案。

    May, 2023

  • 实体链接的多粒度多模态交互网络

    本文提出了一种名为多维多模态交互网络（MIMIC）的框架，用于解决多模态实体链接（MEL）任务，并通过对相互作用单元和对比学习的设计，将简洁文本和隐含视觉线索的精细表示结合起来，实现了更好的性能，超过了各种最先进的基准模型。

    Jul, 2023

  • 短社交媒体文本中实体链接的强韧候选生成

    研究了 Tweet 领域中实体链接方法的挑战，提出了一种使用来自维基百科的长上下文表示的混合解决方案，经过实验评估和比较，取得了 0.93 的召回率。

    Oct, 2022

  • 多模态知识库下的多模态实体标记

    本文提出了一个新的任务叫做多模态实体标记 (MET) 以及一个多模态知识库，并开发了一个数据集以解决该问题。使用信息检索范式解决此任务并使用 NLP 和 CV 中最先进的方法实现了几个基线。结果表明，该任务具有挑战性，但当前技术可以实现相对较高的性能。

    Dec, 2021

  • 利用视觉上下文辅助多模式命名实体识别中的文本内表示

    本文在 Twitter 和 Instagram 等社交媒体大规模爆炸的情况下，探索了基于多媒体发布中关于实体识别的问题。我们提出了一种端到端模型，学习了文本和图像的联合表示。模型扩展了多维自我关注技术，其中现在图像有助于增强单词之间的关系。实验表明，我们的模型能够更精确地捕捉文本和视觉语境，实现了 Twitter 多模式命名实体识别数据集的最新结果。

    Apr, 2019

  • 端到端的神经实体链接

    本文提出了第一个神经网络端到端实体链接系统，通过学习文本中所有可能识别结果的上下文相似性得分，实现了提及检测和实体歧义消解的联合（Entity Linking）算法，方法不需要其他工程特定特征，且在足够的训练数据情况下优于市场已有系统，在测试数据集与训练集不同（如问询 / 推文和新闻文档）时，我们的模型与传统命名实体识别系统耦合可提供最好或次优的 EL 准确性。

    Aug, 2018