将大型预训练模型整合到多模态命名实体识别中，采用证据融合方法

Jun, 2023

将大型预训练模型整合到多模态命名实体识别中，采用证据融合方法

Integrating Large Pre-trained Models into Multimodal Named Entity Recognition with Evidential Fusion

Weide Liu, Xiaoyang Zhong, Jingwen Hou, Shaohua Li, Haozhe Huang...

TL;DR提出一种结合不确定性评估的多模态命名实体识别框架，该算法模拟每种形式的分布并将它们融合成统一分布，以促进预测准确性和可信度。同时提出了一种利用大型预训练基础模型的高效融合方法，实验表明该方法优于基准并实现了新的最先进性能。

Abstract

multimodal named entity recognition (MNER) is a crucial task for information extraction from social media platforms such as Twitter. Most current methods rely on attention weights to extract information from both

multimodal named entity recognition social media platforms uncertainty estimation evidential fusion mechanism pre-trained large foundation models

发现论文，激发创造

一种新的多模态命名实体识别框架，具有多级对齐

本文针对 Tweet 这类多模态数据，提出一种能够动态对齐图像和文本顺序，实现多级跨模态学习，以提高命名实体识别（MNER）的文本表示的新方法。实验结果及详细分析表明了模型的优势。

May, 2023

命名实体识别的平面多模互动变压器

本文提出了一种基于 Flat Multi-modal Interaction Transformer 的多模态命名实体识别方法，通过新颖的相对位置编码匹配不同的模式，以及通过实体边界检测作为辅助任务减轻视觉偏见，实现了对社交媒体帖子中的文本和图片进行 NLP 任务的高效准确识别，取得了业界新的最佳性能表现。

Aug, 2022

2M-NER：利用语言和模态融合进行多语言和多模态 NER 的对比学习

本文介绍了一项新模型 2M-NER，通过对比学习对齐文本和图像表示，并整合多模态合作模块，从而有效地描述了两种模态之间的交互，实现了在多语言和多模态 NER 任务中 F1 得分最高的结果。

Apr, 2024

短社交媒体帖子的多模态实体识别

本研究提出 Multimodal Named Entity Recognition (MNER) 任务，针对用户生成的显式短文本和图像（如 Snapchat 详情）创建了一个新的数据集 SnapCaptions，并利用最先进的 Bi-LSTM 基于词语 / 字符的 NER 模型和深度图像网络结合通用模态注意力模块实现 MNER 任务，成功的通过利用提供的视觉上下文背景比文本 NER 模型具有更佳的性能表现。

Feb, 2018

图像对于多模态命名实体识别的角色研究

研究了多模态融合技术在多模态命名实体识别任务中的应用，通过分析不同技巧的融合效果，发现添加图片信息不总是有益的，并探究了使用字幕丰富上下文的作用。在三个社交平台数据集上的实验揭示了现有多模态模型的瓶颈，以及使用字幕的益处。

Oct, 2020

使用大型预训练语言模型的低资源命名实体识别：SemEval-2022 任务 11 中的 SFE-AI

本文描述我们在 SemEval 2022 任务 11 中使用 Transformer 层自适应地整合多个预训练语言模型进行实体识别，在波斯语和荷兰语方面表现优异。

May, 2022

良好的视觉指导使提取器变得更好：用于多模态实体和关系提取的分层视觉前缀

本文研究了基于多模态数据的命名实体识别和关系提取，提出了一种新的基于视觉增强的实体和关系提取方法，即分层视觉前缀融合网络（HVPNeT），通过使用动态门控聚合策略，利用多层次视觉特征进行视觉前缀的融合，从而实现更有效和稳健的性能，实验证明了此方法的有效性和领先性。

May, 2022

语言模型的混合专家用于命名实体识别

提出了一种基于 Mixture of Experts (MoE) 的强大的命名实体识别（NER）模型 BOND-MoE，通过使用多个模型在 EM 框架下进行集成，可以显著减轻噪声监督带来的问题，并引入公平分配模块来平衡文档 - 模型分配过程，实验证明该方法在真实数据集上取得了与其他远程监督 NER 方法相比的最先进性能。

Apr, 2024

多模态检索命名实体与关系提取

本文提出了 MoRe 框架，使用多模态检索方法，结合文本和图像信息进行命名实体识别和关系抽取，并使用 Mixture of Experts 模块以获得最终决策。在实验中，MoRe 模型达到了四个多模态实体识别数据集和一个多模态关系抽取数据集的最佳性能，证明了结合文本和视觉提示在这些任务中对提高性能具有实际意义。

Dec, 2022

基于变分信息瓶颈的多模态实体与关系抽取增强

文章研究了多模态命名实体识别和多模态关系提取的方法，并提出了一种基于信息瓶颈的多模态表示学习方法，该方法在三个公共基准测试上取得了最先进的性能。

Apr, 2023