本研究提出了一种多模态关系抽取方法，通过检索对象、句子和整个图像的文本和视觉证据，综合考虑了同一和不同模态之间的信息，从而比现有的方法更准确地识别语义关系并显著提高了效果。

May, 2023

该研究提出了一种名为 BGA-MNER 的双向生成对齐方法，用于解决多模态命名实体识别中的语义鸿沟、实体与图像中相关对象之间的匹配以及隐式实体 - 对象关系等问题。实验证明，该方法在推断过程中无需图像输入，取得了最先进的性能。

Aug, 2023

本文提出了 MoRe 框架，使用多模态检索方法，结合文本和图像信息进行命名实体识别和关系抽取，并使用 Mixture of Experts 模块以获得最终决策。在实验中，MoRe 模型达到了四个多模态实体识别数据集和一个多模态关系抽取数据集的最佳性能，证明了结合文本和视觉提示在这些任务中对提高性能具有实际意义。

Dec, 2022

本文研究了基于多模态数据的命名实体识别和关系提取，提出了一种新的基于视觉增强的实体和关系提取方法，即分层视觉前缀融合网络（HVPNeT），通过使用动态门控聚合策略，利用多层次视觉特征进行视觉前缀的融合，从而实现更有效和稳健的性能，实验证明了此方法的有效性和领先性。

May, 2022

本文提出了一种新的多模态关系提取框架，称为 DGF-PT，该框架旨在更好地捕捉文本、实体对和图像 / 对象之间的更深层次的相关性，以挖掘更有用的信息，并且通过引入对实体类型的限制，更好地过滤候选关系。

Jun, 2023

本文针对 Tweet 这类多模态数据，提出一种能够动态对齐图像和文本顺序，实现多级跨模态学习，以提高命名实体识别（MNER）的文本表示的新方法。实验结果及详细分析表明了模型的优势。

May, 2023

提出了一种用于多模态关系提取的变分多模态超图注意网络（VM-HAN），通过利用图像信息在文本中识别实体间的关系，构建了每个句子的多模态超图，并利用高斯分布实现了实体对之间的代表性多样性，从而在多模态关系提取任务中取得了最先进的性能。

Apr, 2024

我们提出了一种基于超图神经网络的 PL-marker 模型的 Entity and Relation Extraction (ERE) 方法，采用高召回修剪机制来减轻错误传播，并在建立的超图上运行超图神经网络进行高阶推理，实验结果显示在 ERE 任务上相较于之前最先进的 PL-marker 模型有明显的提升。

Oct, 2023

本文提出了一种新颖的端到端框架 MNER-QG，该框架可以同时执行基于 MRC 的多模态命名实体识别和查询接地任务，并通过查询的帮助提供识别实体类型和视觉区域的先验知识，进一步增强了文本和图像的表征。在 Twitter2015 和 Twitter2017 上进行了广泛的实验，实验结果表明，MNER-QG 在 MNER 任务上优于当前最先进的模型，并提高了查询接地性能。

Nov, 2022

RiVEG 是一个统一的框架，通过利用大型语言模型作为连接桥梁，将 GMNER 重新构建为一个联合的 MNER-VE-VG 任务。该框架能够通过引入实体扩展表达和视觉蕴涵模块，自然地解决现有 GMNER 方法的两个主要限制，并在现有 GMNER 数据集上优于现有方法，三个子任务中分别达到 10.65%，6.21%，和 8.83% 的绝对领先优势。

Feb, 2024