Feb, 2024

预训练语言模型作为桥梁：重构基于多模态上下文的命名实体识别

PDF
TL;DRRiVEG 是一个统一的框架，通过利用大型语言模型作为连接桥梁，将 GMNER 重新构建为一个联合的 MNER-VE-VG 任务。该框架能够通过引入实体扩展表达和视觉蕴涵模块，自然地解决现有 GMNER 方法的两个主要限制，并在现有 GMNER 数据集上优于现有方法，三个子任务中分别达到 10.65%，6.21%，和 8.83% 的绝对领先优势。
发现论文，激发创造
  • 基于 LLM 的改进和基于框的分割的地面多模态命名实体识别的推进

    提出了 RiVEG，这是一个统一的框架，将 GMNER 转化为联合的 MNER-VE-VG 任务，通过利用大型语言模型作为连接桥梁，解决了 GMNER 任务中存在的挑战，并通过构建新的 SMNER 任务和 Twitter-SMNER 数据集，实验证明了框架的可行性和有效性。

    Jun, 2024

  • MNER-QG：一种用于多模态命名实体识别的端到端机器阅读理解框架与查询引理

    本文提出了一种新颖的端到端框架 MNER-QG，该框架可以同时执行基于 MRC 的多模态命名实体识别和查询接地任务，并通过查询的帮助提供识别实体类型和视觉区域的先验知识，进一步增强了文本和图像的表征。在 Twitter2015 和 Twitter2017 上进行了广泛的实验，实验结果表明，MNER-QG 在 MNER 任务上优于当前最先进的模型，并提高了查询接地性能。

    Nov, 2022

  • 基于边缘增强图对齐网络与词对关系标记的联合多模态实体关系抽取

    本研究提出一种新的联合多模态实体关系抽取任务方法，结合了多模态命名实体识别和多模态关系提取的相互作用，使用增强边缘对齐的图形对齐网络和词对关系标记来增强该任务，它能够发现实体 - 实体关系和对象 - 对象关系之间的关联性。

    Nov, 2022

  • 基于大语言模型的通用实体链接

    我们提出了一种新的方法来从长描述中密集地连接视觉实体，利用大型多模态模型提取语义名词，利用无类别分割模型生成实体级分割，采用多模态特征融合模块将每个语义名词与其对应的分割蒙版关联。此方法利用颜色映射对实体分割蒙版进行编码，使得细粒度预测能够保留高分辨率蒙版的特征。该方法使用 LMM 中的 CLIP 视觉编码器从低分辨率图像中提取视觉特征，比使用额外编码器处理高分辨率图像的现有方法在计算上更高效。我们的全面实验表明，我们的方法卓越于三个任务，包括全景叙事连接、指称表达分割和全景分割。

    Feb, 2024

  • 通过双向生成对齐学习多模态 NER 中的隐式实体 - 对象关系

    该研究提出了一种名为 BGA-MNER 的双向生成对齐方法，用于解决多模态命名实体识别中的语义鸿沟、实体与图像中相关对象之间的匹配以及隐式实体 - 对象关系等问题。实验证明，该方法在推断过程中无需图像输入，取得了最先进的性能。

    Aug, 2023

  • 将大型预训练模型整合到多模态命名实体识别中，采用证据融合方法

    提出一种结合不确定性评估的多模态命名实体识别框架，该算法模拟每种形式的分布并将它们融合成统一分布，以促进预测准确性和可信度。同时提出了一种利用大型预训练基础模型的高效融合方法，实验表明该方法优于基准并实现了新的最先进性能。

    Jun, 2023

  • 一种新的多模态命名实体识别框架，具有多级对齐

    本文针对 Tweet 这类多模态数据，提出一种能够动态对齐图像和文本顺序，实现多级跨模态学习，以提高命名实体识别（MNER）的文本表示的新方法。实验结果及详细分析表明了模型的优势。

    May, 2023

  • GLiNER: 使用双向 Transformer 进行命名实体识别的通用模型

    本研究论文介绍了一种紧凑的命名实体识别模型 GLiNER，通过双向变压器编码器实现并行实体抽取，同时在各种命名实体基准测试中展现出强大的性能，优于 ChatGPT 和经过微调的大型语言模型。

    Nov, 2023

  • 命名实体识别的平面多模互动变压器

    本文提出了一种基于 Flat Multi-modal Interaction Transformer 的多模态命名实体识别方法，通过新颖的相对位置编码匹配不同的模式，以及通过实体边界检测作为辅助任务减轻视觉偏见，实现了对社交媒体帖子中的文本和图片进行 NLP 任务的高效准确识别，取得了业界新的最佳性能表现。

    Aug, 2022

  • 2M-NER：利用语言和模态融合进行多语言和多模态 NER 的对比学习

    本文介绍了一项新模型 2M-NER，通过对比学习对齐文本和图像表示，并整合多模态合作模块，从而有效地描述了两种模态之间的交互，实现了在多语言和多模态 NER 任务中 F1 得分最高的结果。

    Apr, 2024