Apr, 2024

多模态关系抽取的变分多模态超图注意力网络

PDF
TL;DR提出了一种用于多模态关系提取的变分多模态超图注意网络（VM-HAN），通过利用图像信息在文本中识别实体间的关系，构建了每个句子的多模态超图，并利用高斯分布实现了实体对之间的代表性多样性，从而在多模态关系提取任务中取得了最先进的性能。
multi-modal relation extractionvariational multi-modal hypergraph attention networkentity pairsmulti-modal hypergraphstate-of-the-art performance
发现论文，激发创造
  • 跨模态检索和综合的多模式关系抽取

    本研究提出了一种多模态关系抽取方法，通过检索对象、句子和整个图像的文本和视觉证据，综合考虑了同一和不同模态之间的信息，从而比现有的方法更准确地识别语义关系并显著提高了效果。

    May, 2023

  • 良好的视觉指导使提取器变得更好：用于多模态实体和关系提取的分层视觉前缀

    本文研究了基于多模态数据的命名实体识别和关系提取，提出了一种新的基于视觉增强的实体和关系提取方法，即分层视觉前缀融合网络（HVPNeT），通过使用动态门控聚合策略，利用多层次视觉特征进行视觉前缀的融合，从而实现更有效和稳健的性能，实验证明了此方法的有效性和领先性。

    May, 2022

  • 基于边缘增强图对齐网络与词对关系标记的联合多模态实体关系抽取

    本研究提出一种新的联合多模态实体关系抽取任务方法，结合了多模态命名实体识别和多模态关系提取的相互作用，使用增强边缘对齐的图形对齐网络和词对关系标记来增强该任务，它能够发现实体 - 实体关系和对象 - 对象关系之间的关联性。

    Nov, 2022

  • 多模态检索命名实体与关系提取

    本文提出了 MoRe 框架，使用多模态检索方法，结合文本和图像信息进行命名实体识别和关系抽取，并使用 Mixture of Experts 模块以获得最终决策。在实验中，MoRe 模型达到了四个多模态实体识别数据集和一个多模态关系抽取数据集的最佳性能，证明了结合文本和视觉提示在这些任务中对提高性能具有实际意义。

    Dec, 2022

  • 基于变分信息瓶颈的多模态实体与关系抽取增强

    文章研究了多模态命名实体识别和多模态关系提取的方法，并提出了一种基于信息瓶颈的多模态表示学习方法，该方法在三个公共基准测试上取得了最先进的性能。

    Apr, 2023

  • 基于前缀调整的双门控融合技术用于多模态关系抽取

    本文提出了一种新的多模态关系提取框架，称为 DGF-PT，该框架旨在更好地捕捉文本、实体对和图像 / 对象之间的更深层次的相关性，以挖掘更有用的信息，并且通过引入对实体类型的限制，更好地过滤候选关系。

    Jun, 2023

  • 多模态图神经网络用于视觉场景联合推理

    利用多模式图神经网络（MM-GNN）作为一种视觉问答（VQA）方法，通过将图像表示为由三个子图组成的图形，利用场景文本中的各种信息来提高节点特征，从而显著提高需要阅读场景文本的两项 VQA 任务的性能。

    Mar, 2020

  • 混合视觉证据下的少样本关系抽取

    多模态表示学习在少样本关系抽取上的应用

    Mar, 2024

  • 利用信息筛选进行多模态关系抽取！采用特征去噪和多模态主题建模技术

    我们提出了一种新颖的框架，该框架同时实现了内部信息筛选和外部信息利用的想法，通过对图形信息瓶颈原则的引导进行结构细化，将视觉和文本场景图进一步融合成统一的跨模式图形 (CMG)，通过加入潜在多模态主题特征来丰富语境，在基准 MRE 数据集上，我们的系统显着优于当前最佳模型。

    May, 2023

  • MUREL：多模态关系推理用于视觉问答

    本文提出了 MuRel 网络，通过引入 MuRel cell 作为原子性推理原语、模拟问题与图像区域的交互以及建模区域之间的关系，从而利用多模态的关注网络实现复杂的图像识别和多样化的问答。实验表明，MuRel 网络优于现有方法，并在多个数据集上达到了竞争和最优水平。

    Feb, 2019