Aug, 2023

通过双向生成对齐学习多模态 NER 中的隐式实体 - 对象关系

PDF
TL;DR该研究提出了一种名为 BGA-MNER 的双向生成对齐方法，用于解决多模态命名实体识别中的语义鸿沟、实体与图像中相关对象之间的匹配以及隐式实体 - 对象关系等问题。实验证明，该方法在推断过程中无需图像输入，取得了最先进的性能。
multimodal named entity recognitionsemantic gapentity-object relationsbidirectional generative alignmentstate-of-the-art performance
发现论文，激发创造
  • 基于边缘增强图对齐网络与词对关系标记的联合多模态实体关系抽取

    本研究提出一种新的联合多模态实体关系抽取任务方法，结合了多模态命名实体识别和多模态关系提取的相互作用，使用增强边缘对齐的图形对齐网络和词对关系标记来增强该任务，它能够发现实体 - 实体关系和对象 - 对象关系之间的关联性。

    Nov, 2022

  • 一种新的多模态命名实体识别框架，具有多级对齐

    本文针对 Tweet 这类多模态数据，提出一种能够动态对齐图像和文本顺序，实现多级跨模态学习，以提高命名实体识别（MNER）的文本表示的新方法。实验结果及详细分析表明了模型的优势。

    May, 2023

  • 基于文本图像关系传播的 BERT 模型用于多模态命名实体识别（Multimodal NER）

    本文介绍了一种文本 - 图像关系传播的方法，将其集成到多模态 BERT 模型中，通过使用软或硬门选择视觉线索，并提出了一种多任务学习算法，实现对多模态命名实体识别数据集的训练，最终在该数据集上实现了最先进的性能。

    Feb, 2021

  • 2M-NER：利用语言和模态融合进行多语言和多模态 NER 的对比学习

    本文介绍了一项新模型 2M-NER，通过对比学习对齐文本和图像表示，并整合多模态合作模块，从而有效地描述了两种模态之间的交互，实现了在多语言和多模态 NER 任务中 F1 得分最高的结果。

    Apr, 2024

  • 激发对齐能力：多模态实体和关系抽取的力量

    运用多模态提取与图像和文本对齐，利用创新的预训练目标来增强实体和关系的提取能力，实验结果显示相对先前的最佳方法有 3.41% 的 F1 改进，此方法对先前的多模态融合技术是正交的，并在先前的最佳方法的基础上提高了 5.47% 的 F1。

    Oct, 2023

  • 图像对于多模态命名实体识别的角色研究

    研究了多模态融合技术在多模态命名实体识别任务中的应用，通过分析不同技巧的融合效果，发现添加图片信息不总是有益的，并探究了使用字幕丰富上下文的作用。在三个社交平台数据集上的实验揭示了现有多模态模型的瓶颈，以及使用字幕的益处。

    Oct, 2020

  • 文本到图像的跨模态隐含关系推理和对齐的人物检索

    研究了跨模态对齐的图像检索问题，提出了一种 IRRA 框架，并在三个公共数据集上获得了优于现有方法的最新成果。

    Mar, 2023

  • 基于变分信息瓶颈的多模态实体与关系抽取增强

    文章研究了多模态命名实体识别和多模态关系提取的方法，并提出了一种基于信息瓶颈的多模态表示学习方法，该方法在三个公共基准测试上取得了最先进的性能。

    Apr, 2023

  • MNER-QG：一种用于多模态命名实体识别的端到端机器阅读理解框架与查询引理

    本文提出了一种新颖的端到端框架 MNER-QG，该框架可以同时执行基于 MRC 的多模态命名实体识别和查询接地任务，并通过查询的帮助提供识别实体类型和视觉区域的先验知识，进一步增强了文本和图像的表征。在 Twitter2015 和 Twitter2017 上进行了广泛的实验，实验结果表明，MNER-QG 在 MNER 任务上优于当前最先进的模型，并提高了查询接地性能。

    Nov, 2022

  • 多模态命名实体识别的图像文本对齐

    本文提出了一种基于图像与文本对齐的多模态命名实体识别技术，通过将图像特征与文本信息在文本空间中对齐，将两者之间的交互作用结合在一起，以此提高命名实体识别的准确性。

    Dec, 2021