ICCVApr, 2015

多模态卷积神经网络：图像和文本匹配

PDF
TL;DR本论文提出了多模态卷积神经网络 (m-CNNs)，用于匹配图像和句子。该网络结构采用卷积架构来利用图像表示、单词组合和两种模态之间的匹配关系。实验结果表明，我们的 m-CNNs 可以有效地捕捉图像和句子匹配所需的信息，并在 Flickr30K 和 Microsoft COCO 数据库的双向图像和句子检索上取得了最先进的性能。
multimodal convolutional neural networksimage and sentence matchingend-to-end frameworkword compositionsemantic fragments
发现论文，激发创造
  • 卷积神经网络架构匹配自然语言句子

    本篇研究提出了一种卷积神经网络模型来匹配两个句子，并应用于不同语言和不同性质的匹配任务中，实验证明该模型表现出了良好的性能和比竞争模型更优的结果。

    Mar, 2015

  • 用多模态递归神经网络来解释图像

    本文提出了一种基于多模态循环神经网络 (m-RNN) 的模型，实现图像内容的生成式描述，模型包含句子的深度循环神经网络和图像的卷积神经网络两个子网络以及它们的多模态层，经验证在三个基准数据集上的表现优于现有方法，还可以应用于图像或句子的检索任务，比现有直接优化排名目标函数的方法取得了显著的性能提升。

    Oct, 2014

  • 使用图卷积网络对文本建模用于跨模态信息检索

    本研究提出了一种基于图的文本建模方法和双向神经网络模型，用于跨模态信息检索，结合卷积神经网络和 Graph Convolutional Network，通过相似度度量，并采用成对相似度损失函数训练模型，在准确率提升了 17％的前提下，成为了最先进的方法。

    Feb, 2018

  • 语音与图像的深度多模态语义嵌入

    本文提出了一种模型，其将图像和相关的口头描述作为输入，并找到两种模态之间的对应关系。使用一对卷积神经网络在单词级别模拟视觉对象和语音信号，并采用嵌入和对准模型将两个网络联系在一起，以学习跨两种模态的联合语义空间，最终在 Flickr8k 数据集上使用图像搜索和注释任务评估了我们的模型。

    Nov, 2015

  • 基于选择性多模态 LSTM 的实例感知图像和句子匹配

    通过提出选择性多模态长短时记忆网络 (sm-LSMT)，并在其每个时间步上应用适应性注意力机制，同时通过预测成对实例结点显著图来选择性地注意一对图像和句子实例，从而比较和测量它们之间的相似度，并通过多个时间步骤内的多个局部相似度测量，使用隐藏状态来最终聚合它们，以获得期望的全局相似度，我们可以更好地匹配具有复杂内容的图像和句子，并在两个公共基准数据集上实现最先进的结果。

    Nov, 2016

  • 多模态循环神经网络（m-RNN）实现的深度字幕生成

    本文提出了一种基于多模态循环神经网络的模型，用于生成图像标题，并在四个基准数据集上验证了该模型的有效性。

    Dec, 2014

  • 建模句子的卷积神经网络

    本文介绍了一种称为动态卷积神经网络的卷积架构，它使用动态 k-Max 池化进行句子的语义建模，并通过四项实验（二进制和多类情感预测，六路问题分类和推特情感预测）展示了出色的表现。

    Apr, 2014

  • 学习用于图像文本匹配任务的双分支神经网络

    本文研究了两种神经网络结构用于学习图像和语言之间的相似性，其中一种网络结构学习了一个共享的潜在嵌入空间，另一种网络结构通过元素乘积将两个数据模态融合，并且实现了对于句子和图像的双向检索，取得了良好的结果。

    Apr, 2017

  • MAT: 图像字幕的多模态注意力翻译器

    通过序列到序列的循环神经网络模型，从图像中提取对象序列并引入顺序注意力层，将图像的顺序信息自然地转化为单词序列，在 MS COCO 数据集中超越了现有方法并且在评估服务中也取得了竞争性的结果。

    Feb, 2017

  • 图像 - 文本匹配的先进多模态深度学习架构

    利用创新的跨模态关注机制和分层特征融合策略，将深度神经网络的高级抽象表示能力与自然语言处理模型的文本语义理解优势相结合，以实现图像和文本之间的深度融合和双向交互的多模态深度学习架构。实验证明，与现有的图像和文本匹配模型相比，优化后的新模型在一系列基准数据集上表现出显著的性能提升，并且在面对以前未见过的复杂情况时也能保持较高的匹配性能。

    Jun, 2024