AAAINov, 2022

MNER-QG：一种用于多模态命名实体识别的端到端机器阅读理解框架与查询引理

PDF
TL;DR本文提出了一种新颖的端到端框架 MNER-QG，该框架可以同时执行基于 MRC 的多模态命名实体识别和查询接地任务，并通过查询的帮助提供识别实体类型和视觉区域的先验知识，进一步增强了文本和图像的表征。在 Twitter2015 和 Twitter2017 上进行了广泛的实验，实验结果表明，MNER-QG 在 MNER 任务上优于当前最先进的模型，并提高了查询接地性能。
multimodal named entity recognitionmner-qgquery groundingvisual regionstransfer learning
发现论文，激发创造
  • 基于 LLM 的改进和基于框的分割的地面多模态命名实体识别的推进

    提出了 RiVEG，这是一个统一的框架，将 GMNER 转化为联合的 MNER-VE-VG 任务，通过利用大型语言模型作为连接桥梁，解决了 GMNER 任务中存在的挑战，并通过构建新的 SMNER 任务和 Twitter-SMNER 数据集，实验证明了框架的可行性和有效性。

    Jun, 2024

  • 预训练语言模型作为桥梁：重构基于多模态上下文的命名实体识别

    RiVEG 是一个统一的框架，通过利用大型语言模型作为连接桥梁，将 GMNER 重新构建为一个联合的 MNER-VE-VG 任务。该框架能够通过引入实体扩展表达和视觉蕴涵模块，自然地解决现有 GMNER 方法的两个主要限制，并在现有 GMNER 数据集上优于现有方法，三个子任务中分别达到 10.65%，6.21%，和 8.83% 的绝对领先优势。

    Feb, 2024

  • NER-MQMRC: 将命名实体识别形式化为多问题机器阅读理解

    本研究提出了一种新颖的基于 BERT 的多问题机器阅读理解体系结构，将命名实体识别作为一个多问题 MRC 任务，旨在解决大规模电子商务属性（或实体）在高性能和优化训练和推理运行时从非结构化文本中提取的问题，该模型在三个 NER 数据集上获得了比 NER-SQMRC 框架模型更快的训练和推理时间，并且保持与单个问题 MRC（NER-SQMRC）性能相当。

    May, 2022

  • 多粒度命名实体识别

    本文提出了一种新的多粒度命名实体识别框架，MGNER，用于检测句子中多个实体或实体提及，这些实体或实体提及可以是不重叠或完全嵌套的。该框架通过检测所有可能的单词片段和分类实体来识别命名实体，其中利用了上下文信息和自我注意机制，实验结果表明，MGNER 在非重叠 / 嵌套 NER 任务中比现有的最先进基线算法表现提高了 4.4% 的 F1 分数。

    Jun, 2019

  • 一种新的多模态命名实体识别框架，具有多级对齐

    本文针对 Tweet 这类多模态数据，提出一种能够动态对齐图像和文本顺序，实现多级跨模态学习，以提高命名实体识别（MNER）的文本表示的新方法。实验结果及详细分析表明了模型的优势。

    May, 2023

  • 基于边缘增强图对齐网络与词对关系标记的联合多模态实体关系抽取

    本研究提出一种新的联合多模态实体关系抽取任务方法，结合了多模态命名实体识别和多模态关系提取的相互作用，使用增强边缘对齐的图形对齐网络和词对关系标记来增强该任务，它能够发现实体 - 实体关系和对象 - 对象关系之间的关联性。

    Nov, 2022

  • 将大型预训练模型整合到多模态命名实体识别中，采用证据融合方法

    提出一种结合不确定性评估的多模态命名实体识别框架，该算法模拟每种形式的分布并将它们融合成统一分布，以促进预测准确性和可信度。同时提出了一种利用大型预训练基础模型的高效融合方法，实验表明该方法优于基准并实现了新的最先进性能。

    Jun, 2023

  • SCANNER: 基于知识增强的鲁棒多模态未见实体命名识别方法

    最近的研究已经将命名实体识别推向较先进阶段，融入了视觉信号，以致产生了多模态命名实体识别（MNER）或基于图像的 MNER（GMNER）的多个变种。我们提出了 SCANNER（用于 NER 的 Span 候选检测和识别），一种能够有效处理这三种 NER 变体的模型。SCANNER 是一个两阶段结构；我们在第一阶段提取实体候选并将其作为查询，从各种来源中获取知识。通过利用这种以实体为中心的提取知识来处理未知实体，我们可以提高性能。此外，为了应对 NER 数据集中由于噪声注释而出现的挑战，我们引入了一种新的自我蒸馏方法，提高了模型在处理具有固有不确定性的训练数据时的鲁棒性和准确性。我们的方法在 NER 基准测试中展示出有竞争力的性能，并在 MNER 和 GMNER 基准测试中超越了现有方法。进一步的分析表明，所提出的蒸馏和知识利用方法改进了我们的模型在各种基准测试中的性能。

    Apr, 2024

  • 基于 ChatGPT 的多模态命名实体识别方法：辅助细化知识的改进

    本文提出了一个叫做 PGIM 的概念简单的两阶段框架，利用 ChatGPT 作为一个隐式知识引擎获得辅助精细化知识，从而增强 MNER 任务中模型的性能，通过 PGIM 可以显著优于现有所有最先进的方法。

    May, 2023

  • 通过双向生成对齐学习多模态 NER 中的隐式实体 - 对象关系

    该研究提出了一种名为 BGA-MNER 的双向生成对齐方法，用于解决多模态命名实体识别中的语义鸿沟、实体与图像中相关对象之间的匹配以及隐式实体 - 对象关系等问题。实验证明，该方法在推断过程中无需图像输入，取得了最先进的性能。

    Aug, 2023