Jun, 2023

基于前缀调整的双门控融合技术用于多模态关系抽取

PDF
TL;DR本文提出了一种新的多模态关系提取框架，称为 DGF-PT，该框架旨在更好地捕捉文本、实体对和图像 / 对象之间的更深层次的相关性，以挖掘更有用的信息，并且通过引入对实体类型的限制，更好地过滤候选关系。
multi-modal relation extractionvisual contentmmre frameworkdgf-ptgenerative decoder
发现论文，激发创造
  • 跨模态检索和综合的多模式关系抽取

    本研究提出了一种多模态关系抽取方法，通过检索对象、句子和整个图像的文本和视觉证据，综合考虑了同一和不同模态之间的信息，从而比现有的方法更准确地识别语义关系并显著提高了效果。

    May, 2023

  • 基于边缘增强图对齐网络与词对关系标记的联合多模态实体关系抽取

    本研究提出一种新的联合多模态实体关系抽取任务方法，结合了多模态命名实体识别和多模态关系提取的相互作用，使用增强边缘对齐的图形对齐网络和词对关系标记来增强该任务，它能够发现实体 - 实体关系和对象 - 对象关系之间的关联性。

    Nov, 2022

  • 利用信息筛选进行多模态关系抽取！采用特征去噪和多模态主题建模技术

    我们提出了一种新颖的框架，该框架同时实现了内部信息筛选和外部信息利用的想法，通过对图形信息瓶颈原则的引导进行结构细化，将视觉和文本场景图进一步融合成统一的跨模式图形 (CMG)，通过加入潜在多模态主题特征来丰富语境，在基准 MRE 数据集上，我们的系统显着优于当前最佳模型。

    May, 2023

  • 多模态检索命名实体与关系提取

    本文提出了 MoRe 框架，使用多模态检索方法，结合文本和图像信息进行命名实体识别和关系抽取，并使用 Mixture of Experts 模块以获得最终决策。在实验中，MoRe 模型达到了四个多模态实体识别数据集和一个多模态关系抽取数据集的最佳性能，证明了结合文本和视觉提示在这些任务中对提高性能具有实际意义。

    Dec, 2022

  • 良好的视觉指导使提取器变得更好：用于多模态实体和关系提取的分层视觉前缀

    本文研究了基于多模态数据的命名实体识别和关系提取，提出了一种新的基于视觉增强的实体和关系提取方法，即分层视觉前缀融合网络（HVPNeT），通过使用动态门控聚合策略，利用多层次视觉特征进行视觉前缀的融合，从而实现更有效和稳健的性能，实验证明了此方法的有效性和领先性。

    May, 2022

  • 多模态关系抽取的变分多模态超图注意力网络

    提出了一种用于多模态关系提取的变分多模态超图注意网络（VM-HAN），通过利用图像信息在文本中识别实体间的关系，构建了每个句子的多模态超图，并利用高斯分布实现了实体对之间的代表性多样性，从而在多模态关系提取任务中取得了最先进的性能。

    Apr, 2024

  • 基于关系嵌入的指代表达式 grounding 表示学习

    本文提出了一种 Cross-Modal Relationship Extractor (CMRE) 的方法，利用跨模式的注意力机制自适应地提取和关联表达式中与对象相关的空间和语义关系，并将提取的信息表示为语言导向的视觉关系图。同时，我们还提出了一种 Gated Graph Convolutional Network (GGCN)，通过融合不同模式的信息并在结构化的关系图中传播多模式信息来计算多模式语义上下文，并在三个通用基准数据集上证明了该方法的显著优于所有现有的最新方法。

    Jun, 2019

  • 学习双重检索模块用于半监督关系抽取

    本文提出 DualRE，使用弱监督技术结合自我训练机制和多视图学习方法，在关系抽取任务中通过检索模块与原始关系预测模型的联合训练来提高模型的性能表现。实验结果表明，该方法有效地提高了模型的性能表现。

    Feb, 2019

  • 多模态知识图谱完成的多层级融合混合变压器

    本文提出了一种具有多级融合和混合变压器结构的 Multimodal Knowledge Graphs，用于解决多模态知识图谱完成任务中的问题，并在四个数据集上取得了 SOTA 性能。

    May, 2022

  • 关系三元组提取的互相指导的少样本学习

    本文提出了一种基于 Mutual Guided Few-shot 学习框架的关系三元组抽取方法，该方法通过实体解码器和关系解码器相互指导，加上原型融合模块，能够在使用少量数据的情况下显著提高抽取准确度，在 FewRel 1.0 和 FewRel 2.0 数据集上表现优异。

    Jun, 2023