Sep, 2017

预测图像和视频字幕检索的文本视觉特征

PDF
TL;DR本文提出了一种基于视觉空间进行图像和视频描述检索的深度神经网络模型，通过多尺度句向量化和多层感知器等方法，将文本输入转化为视觉特征表示，实现了优于文本嵌入的多模态检索效果。
image/video caption retrievalvisual spacedeep neural networkmulti-modal query compositionstate-of-the-art results
发现论文，激发创造
  • Word2VisualVec: 利用视觉特征预测图像和视频对句子的匹配

    本研究旨在寻找最佳描述图像或视频内容的语句，通过生成句向量和多层感知机，构建了一个名为 Word2VisualVec 的深度神经网络体系结构来实现针对图像或视频与句子的匹配。该体系结构在四个复杂的图像和视频基准上的实验测试中表现出显着的现实结果。

    Apr, 2016

  • 将文本描述转化为高层视觉表征

    本文介绍了一种利用神经网络模型 Text2Vis 在视觉特征空间中实现基于短文本描述信息的图像搜索方法，并通过针对文本和视觉损失函数的优化来提高搜索效率和精确度，并在 MS-COCO 数据集上进行了初步结果呈现。

    Jun, 2016

  • 使用网络图像搜索学习视频和句子的联合表示

    该研究旨在基于自然语言查询进行视频检索，并采用嵌入模型进行检索任务的训练，试图通过图像搜索以及嵌入模型的应用使 fine-grained 视觉概念得到消歧，最终在视频和句子检索任务中实现了明显的改进，并取得了与当前最先进技术相媲美的描述生成性能。

    Aug, 2016

  • 学习用于图像字幕生成的递归视觉表示

    本研究探索了图像及其基于语句的描述之间的双向映射，提出了使用递归神经网络学习该映射的方法。我们使用相同的模型生成新的描述句子，并重新构建与图像相关的可视化特征，同时使用新颖的递归视觉记忆来辅助语句生成和可视化特征重构。在生成新的图像描述任务中，我们的自动生成字幕被人类喜欢的比例超过了 19.8％。和使用类似的视觉特征方法相比，我们的结果在图像和语句检索任务上达到了同等或更好的效果。

    Nov, 2014

  • 使用标题和点击数据的多任务文本到视觉嵌入

    论文提出一种新的方法，使用图像标题和来自图像搜索引擎的点击数据来学习文本 - 视觉嵌入，并通过建模嵌入的积极感知提出新的三元损失函数，以及引入一种新的基于小批次的难例负采样方法来提高学习过程的数据效率，实验结果表明，该方法的表现优于现有方法，并且对于现实世界的文本到视觉检索也十分有效。

    May, 2019

  • 视频字幕的时空动态与语义属性增强视觉编码

    本篇文章提出了一种视觉特征编码技术，使用门控循环单元（GRUs）生成语义丰富的视频字幕，并在 MSVD 和 MSR-VTT 数据集上创造了新的 METEOR 和 ROUGE_L 度量标准的最新技术水平。

    Feb, 2019

  • 使用文本描述预测深度零样本卷积神经网络

    本文提出了一种新的模型，使用文字特征来预测深度卷积神经网络（CNN）中卷积和全连接层的输出权重，以分类看不见的类别，同时利用 CNN 架构在不同层面学习特征，从而避免了为图像定义语义属性的问题，并且自动生成了每个视觉类别的伪属性词列表。结果显示，该模型明显优于以往方法。

    Jun, 2015

  • 融合场景文本与视觉外观进行细粒度图像分类

    本文提出了一种利用场景文本进行图像理解的方法，通过符号识别系统获取识别的单词和深层视觉特征的嵌入组合成一个可通过卷积神经网络进行优化的单一表示形式。通过引入注意力机制强化符号与图像之间的关系，不仅有效地提高分类准确率，而且可较大幅度提升产品图像检索性能。

    Apr, 2017

  • 利用视觉语义推理进行视频 - 文本检索

    为了提高视频检索的性能，我们提出了一种名为 ViSERN 的可视化语义增强的推理网络，该网络利用图卷积网络执行随机游走规则来生成涉及语义关系的区域特征，并聚合这些特征以形成帧级特征， 以求衡量视频和文本之间的相似性。

    Jun, 2020

  • 所有组合都相等吗？使用多空间学习将文本和视觉特征结合以进行基于文本的视频检索

    本文旨在解决跨模态视频检索问题，具体聚焦于文本到视频的检索，并探讨将多种不同的文本和视觉特征最佳组合以生成多个联合特征空间的方法。通过多空间学习过程训练网络结构，引入额外的 softmax 运算来修正推断的查询 - 视频相似性，并在三个大规模数据集上进行实验验证，以记录所提出网络的表现。

    Nov, 2022