Oct, 2023

I2SRM: 跨样本关系建模用于多模态信息提取

PDF
TL;DR该论文介绍了用于多模态信息提取的 Intra- and Inter-Sample Relationship Modeling (I2SRM) 方法，其中包含两个模块：内部样本关系建模模块和样本之间关系建模模块。通过在单个样本上操作来学习有效的表示，并提出了 AttnMixup 策略来改善泛化性能，在多模态实体识别数据集和多模态关系抽取数据集上进行了广泛实验，表明该方法取得了竞争性的效果。
multimodal information extractionintra- and inter-sample relationship modelingmodality gapattnmixup strategymultimodal named entity recognition
发现论文，激发创造
  • 多模态学习框架：联合建模跨模态和同模态依赖关系

    通过提出的 I2M2 框架，我们捕捉并整合了模态间和模态内的依赖关系，从而实现了更精确的预测。在真实世界的医疗和视觉与语言数据集上，我们使用最先进的模型评估了我们的方法，并且表现出优于传统方法的性能，传统方法仅关注一种模态依赖。

    May, 2024

  • 跨模态检索和综合的多模式关系抽取

    本研究提出了一种多模态关系抽取方法，通过检索对象、句子和整个图像的文本和视觉证据，综合考虑了同一和不同模态之间的信息，从而比现有的方法更准确地识别语义关系并显著提高了效果。

    May, 2023

  • Hire: 多关系增强的图片文字匹配的混合模态交互

    我们提出了一种具有多重关系增强的混合模态交互（称为 Hire）的图像文本匹配方法，通过内外模态语义相关性的关联来改善物体和文本的上下文表示，进而获得更好的图像文本匹配结果。

    Jun, 2024

  • DM$^2$S$^2$: 深度多模态序列集，具有分层模态关注

    该研究提出了一种新的多模态输入概念 —— 深度多模态序列集，其包括三个组件来捕捉多个模态之间的关系，并使用 BERT-based 全局编码器和残差注意力来提取重要特征，该模型的结果可解释性强，并且具有与先前 set-aware 模型相媲美或更好的性能。

    Sep, 2022

  • 文本到图像的跨模态隐含关系推理和对齐的人物检索

    研究了跨模态对齐的图像检索问题，提出了一种 IRRA 框架，并在三个公共数据集上获得了优于现有方法的最新成果。

    Mar, 2023

  • 利用信息筛选进行多模态关系抽取！采用特征去噪和多模态主题建模技术

    我们提出了一种新颖的框架，该框架同时实现了内部信息筛选和外部信息利用的想法，通过对图形信息瓶颈原则的引导进行结构细化，将视觉和文本场景图进一步融合成统一的跨模式图形 (CMG)，通过加入潜在多模态主题特征来丰富语境，在基准 MRE 数据集上，我们的系统显着优于当前最佳模型。

    May, 2023

  • 合成数据训练在多模态关系抽取中胜过真实数据

    使用 Mutual Information-aware Multimodal Iterated Relational dAta GEneration (MI2RAGE) 方法，通过 Chained Cross-modal Generation (CCG) 促进生成数据的多样性，并利用 teacher network 选择与 ground-truth 标签具有高互信息的有价值的训练样本，相比于直接在合成数据上训练，我们观察到合成文本的 F1 得分提高了 24.06%，合成图像的 F1 得分提高了 26.42%。值得注意的是，我们最好的模型在完全合成图像上训练时，相对于在真实多模态数据上训练的现有最先进模型，在 F1 得分上提升了 3.76%。

    Dec, 2023

  • 多关系转换器辅助项关系下的顺序推荐

    对于顺序推荐中的辅助物品关系，提出了一个基于多关系变形器的顺序推荐方法进行建模，并通过实验表明其在冷启动问题等方面的有效性。

    Oct, 2022

  • MISSRec：用于推荐的预训练和迁移多模态兴趣感知序列表示

    该论文提出了一种基于多模态信息的多模态预训练和迁移学习框架（MISSRec），用于顺序推荐，以解决现有基于 ID 特征的推荐方法在稀疏 ID 和冷启动问题方面的性能不佳的问题。通过在用户和候选项两方面分别设计 Transformer-based 的编码器 - 解码器模型和动态融合模块，MISSRec 能够实现更鲁棒且可迁移的序列表示，该方法在实验中表现出的效果和灵活性使其成为实际推荐场景的可行解决方案。

    Aug, 2023

  • 视觉表示学习中的类别级别结构关系建模与平滑

    本文提出了一个名为 CSRMS 的框架，包括类级关系建模、类感知图采样和关系图引导表示学习模块，以建模数据集的关系图，并执行类感知平滑和正则化操作以减轻类内视觉多样性和类间相似度问题。实验证明结构化知识建模对增强表示学习具有有效性，并表明 CSRMS 可以与任何最先进的视觉表示学习模型结合以提高性能。

    Aug, 2023