ACLMay, 2022

良好的视觉指导使提取器变得更好：用于多模态实体和关系提取的分层视觉前缀

PDF
TL;DR本文研究了基于多模态数据的命名实体识别和关系提取，提出了一种新的基于视觉增强的实体和关系提取方法，即分层视觉前缀融合网络（HVPNeT），通过使用动态门控聚合策略，利用多层次视觉特征进行视觉前缀的融合，从而实现更有效和稳健的性能，实验证明了此方法的有效性和领先性。
multimodal named entity recognitionrelation extractionvisual-enhanced entity extractionhierarchical visual prefix fusion networkdynamic gated aggregation strategy
发现论文，激发创造
  • 多模态检索命名实体与关系提取

    本文提出了 MoRe 框架，使用多模态检索方法，结合文本和图像信息进行命名实体识别和关系抽取，并使用 Mixture of Experts 模块以获得最终决策。在实验中，MoRe 模型达到了四个多模态实体识别数据集和一个多模态关系抽取数据集的最佳性能，证明了结合文本和视觉提示在这些任务中对提高性能具有实际意义。

    Dec, 2022

  • 基于边缘增强图对齐网络与词对关系标记的联合多模态实体关系抽取

    本研究提出一种新的联合多模态实体关系抽取任务方法，结合了多模态命名实体识别和多模态关系提取的相互作用，使用增强边缘对齐的图形对齐网络和词对关系标记来增强该任务，它能够发现实体 - 实体关系和对象 - 对象关系之间的关联性。

    Nov, 2022

  • 混合视觉证据下的少样本关系抽取

    多模态表示学习在少样本关系抽取上的应用

    Mar, 2024

  • 多模态关系抽取的变分多模态超图注意力网络

    提出了一种用于多模态关系提取的变分多模态超图注意网络（VM-HAN），通过利用图像信息在文本中识别实体间的关系，构建了每个句子的多模态超图，并利用高斯分布实现了实体对之间的代表性多样性，从而在多模态关系提取任务中取得了最先进的性能。

    Apr, 2024

  • 一种新的多模态命名实体识别框架，具有多级对齐

    本文针对 Tweet 这类多模态数据，提出一种能够动态对齐图像和文本顺序，实现多级跨模态学习，以提高命名实体识别（MNER）的文本表示的新方法。实验结果及详细分析表明了模型的优势。

    May, 2023

  • 将大型预训练模型整合到多模态命名实体识别中，采用证据融合方法

    提出一种结合不确定性评估的多模态命名实体识别框架，该算法模拟每种形式的分布并将它们融合成统一分布，以促进预测准确性和可信度。同时提出了一种利用大型预训练基础模型的高效融合方法，实验表明该方法优于基准并实现了新的最先进性能。

    Jun, 2023

  • 基于前缀调整的双门控融合技术用于多模态关系抽取

    本文提出了一种新的多模态关系提取框架，称为 DGF-PT，该框架旨在更好地捕捉文本、实体对和图像 / 对象之间的更深层次的相关性，以挖掘更有用的信息，并且通过引入对实体类型的限制，更好地过滤候选关系。

    Jun, 2023

  • 跨模态检索和综合的多模式关系抽取

    本研究提出了一种多模态关系抽取方法，通过检索对象、句子和整个图像的文本和视觉证据，综合考虑了同一和不同模态之间的信息，从而比现有的方法更准确地识别语义关系并显著提高了效果。

    May, 2023

  • 命名实体识别的平面多模互动变压器

    本文提出了一种基于 Flat Multi-modal Interaction Transformer 的多模态命名实体识别方法，通过新颖的相对位置编码匹配不同的模式，以及通过实体边界检测作为辅助任务减轻视觉偏见，实现了对社交媒体帖子中的文本和图片进行 NLP 任务的高效准确识别，取得了业界新的最佳性能表现。

    Aug, 2022

  • 基于变分信息瓶颈的多模态实体与关系抽取增强

    文章研究了多模态命名实体识别和多模态关系提取的方法，并提出了一种基于信息瓶颈的多模态表示学习方法，该方法在三个公共基准测试上取得了最先进的性能。

    Apr, 2023