Mar, 2024

FSMR：一种基于特征交换的多模态推理方法，结合文本和视觉线索

PDF
TL;DR该论文介绍了一种名为特征交换多模态推理（FSMR）模型的方法，通过特征交换来增强多模态推理，提供了图像和文本的有效特征表示，并加强了模型对图像和文本之间相互作用的理解，通过多模态交叉注意机制实现了文本和视觉信息的联合建模，实验证明 FSMR 在各种性能指标上优于基准模型。
发现论文，激发创造
  • 一种基于多模态上下文推理的条件推断方法，适用于联合文本和视觉线索

    提出了一种名为 ModCR 的多模态上下文推理方法，结合文本信息和图像信息进行上下文推理，相较于之前的基于预训练视觉 - 语言模型的方法，ModCR 将给定的文本抽象语义和客观图像信息作为上下文信息，在预训练的语言模型中嵌入它们进行上下文推理，并通过引入可学习的对齐前缀将多视角语义对齐信息与语言和图形结合起来，使得该语言模型更适用于联合文本和视觉线索的多模态推理场景。

    May, 2023

  • 基于前提的多模态推理：联合文本与视觉线索的条件推断

    本文提出了一种基于 Premise 的多模态推理任务，建立了 PMR 数据集用于评价多模态推理模型的性能。

    May, 2021

  • DMRM: 用于视觉对话的双通道多跳推理模型

    提出了一种新的视觉对话模型 DMRM，通过双通道多跳推理结合多模态注意力，有效地将问题、图像和历史上下文信息融合，从而提高了视觉对话的生成质量。在 VisDial v0.9 和 v1.0 数据集上，DMRM 模型的实验结果表明，相比较其他模型，DMRM 模型具有更好的效果。

    Dec, 2019

  • 基于场景文本的细粒度图像分类与检索的多模态推理图

    本文采用图卷积网络结合场景文本实例和显著图像区域进行多模态推理，在 Con-Text 和 Drink Bottle 数据集中，在细粒度图像分类和图像检索任务中显著优于之前的最新技术。

    Sep, 2020

  • 级联互相调制的视觉推理

    CMM 是一种端到端的视觉推理模型，通过特征逐步的线性调制 (FiLM) 技术实现了问答过程中的文本 / 视觉互动，实验结果表明 CMM 在视觉推理问题上达到了最新的最优性能。

    Sep, 2018

  • CMFN: 跨模态融合网络用于不规则场景文字识别

    提出了一种新颖的交叉模态融合网络（CMFN），用于不规则场景文本识别，将视觉线索融入语义挖掘过程中，实验证明该算法在性能上与最先进的算法相当，验证了其有效性。

    Jan, 2024

  • 多粒度跨模态对比学习下的文本引导人脸识别

    通过引入面部属性和语义信息，以提高在低质量图像中进行面部识别的性能为目标，本文介绍了一种名为文本引导的面部识别（TGFR）方法，通过跨模态对齐和融合模块，以及面部特征和文本特征的优化，实现了显著的性能提升。

    Dec, 2023

  • 快速检索、智能重新排名：协作和联合方法改进跨模态检索

    本文提出了一种基于 fine-tuning 的框架，将任何预先训练的文本 - 图像多模态模型转换为高效的检索模型，并通过 cooperative retrieve-and-rerank 方法结合双网络和交叉编码器，实现更准确、更高效的跨模态检索。

    Mar, 2021

  • 结构化的多模态特征嵌入和对齐 —— 面向图像 - 句子检索

    本文提出了一种新的结构化多模式特征嵌入与对齐模型（SMFEA）来增强图像 - 句子检索，通过构建视觉和文本片段之间的内在结构和外在交叉模态结构和语义对应关系，使用共享的上下文感知式引用树的新型多模式结构模块联合并显性地学习视觉 - 文本嵌入和跨模态对齐，将各自模态的片段处理为结构化树编码，通过最大化相应跨模态树节点之间的语义和结构相似性来首次实现了对齐方法的交叉模态结构和语义对应关系.

    Aug, 2021

  • 跨模态检索和合成（X-MRS）：在共享表示学习中弥合模态差距

    提出一种计算食品分析的方法，该方法结合了多模态共享表示学习和多语言翻译，包括转换器和图像嵌入技术，通过学习数字配方和图片的联合语义来生成美食图像。

    Dec, 2020