ICCVJun, 2015

使用文本描述预测深度零样本卷积神经网络

PDF
TL;DR本文提出了一种新的模型，使用文字特征来预测深度卷积神经网络（CNN）中卷积和全连接层的输出权重，以分类看不见的类别，同时利用 CNN 架构在不同层面学习特征，从而避免了为图像定义语义属性的问题，并且自动生成了每个视觉类别的伪属性词列表。结果显示，该模型明显优于以往方法。
发现论文，激发创造
  • 学习细粒度视觉描述的深度表示

    本文提出了使用神经语言模型来克服零 - shot 视觉识别中属性的局限性，并取得了在文本图像检索精度和零 - shot 分类准确率上的显著性提升。

    May, 2016

  • 基于生成对抗网络的噪声文本零样本学习方法

    利用生成对抗网络 (GANs) 想象从文本描述中无法见到的类别，生成目标类别的视觉特征，附加伪数据，使得零样本学习自然地转换为传统的分类问题，并提出视觉中心正则化以保持生成特征的跨类别区分能力。实验表明，该方法在基于文本的零样本学习的最大可用基准测试中始终优于现有技术水平。

    Dec, 2017

  • Train Once, Test Anywhere: 零样本学习用于文本分类

    提出了使用零样本学习的方法在大语料库上训练模型来学习语句和其标签之间的关系，以实现模型对未知语句和标签的预测，并报告在三个不同数据集上的实验结果，该方法是自然语言处理中通向智能化的一步。

    Dec, 2017

  • 通过使用文本描述使 VLMs 适应性更好的零射分类改进

    通过使用大型语言模型（LLMs）生成的类别描述和丰富的细粒度图像分类数据集，我们提出了一种方法来改善视觉 - 语言模型（VLMs）在细粒度领域的零样本分类性能。通过在训练过程中利用图像 - 文本监督，我们的方法在鸟类和花卉等新颖类别的零样本分类准确度上平均提高了 4-5％。地理先验也被证明对于改善零样本分类同样有效，与视觉特征互补。我们计划发布包含 7 个数据集的基准测试，以促进未来的零样本识别研究。

    Jan, 2024

  • 预测图像和视频字幕检索的文本视觉特征

    本文提出了一种基于视觉空间进行图像和视频描述检索的深度神经网络模型，通过多尺度句向量化和多层感知器等方法，将文本输入转化为视觉特征表示，实现了优于文本嵌入的多模态检索效果。

    Sep, 2017

  • 强监督下的多线索零样本学习

    利用多个文本来源和语义部分注释来提供更强的监督辅助信息，达到零样本识别和检索的目标。

    Mar, 2016

  • 新闻报道：通过图像和文本处理进行文章注释

    本文提出了一种新颖的深度学习方法，适用于解决文字描述与图片内容松散相关的情况。这种方法在多任务和迁移学习中表现良好，可以有效地检测图片来源、预测热度、插图以及文章地理位置等问题。同时，研究人员构建了一个新的语料库以供研究者使用。研究表明，该方法在新闻文章的领域中具有很强的实用性。

    Mar, 2016

  • 零样本开放词汇分割的扩散模型

    本文提出了一种基于大规模文本到图像扩散模型的零样本开放词库分割方法，通过考虑采样的图像的背景来更好地定位对象并直接分割背景，并证明该方法可以在多个基准测试中表现出色，在 Pascal VOC 基准测试上领先了超过 10%。

    Jun, 2023

  • 大规模零样本学习的文档表示重访

    本文讨论了使用语义表达来识别未见过的物体，提出了一种基于文档的语义表示方法，通过半自动机制提取并加权了文档中包含的可视信息，形成了语义表示，相比现有方法在 ImageNet 数据集上表现更佳。

    Apr, 2021

  • 零样本学习：在线文本文档中噪声抑制的应用

    该研究探索了基于 Wikipedia 等在线文本源的零样本学习中，文本信息与视觉信息结合的方法，提出了一种基于 $l_{2,1}$ 正则化的目标函数，同时抑制文本中的噪声信号并学习文本信息与视觉特征的匹配，实验证明该方法明显优于其他依赖文本信息但无明确噪声抑制的方法。

    Apr, 2016