Jul, 2017

用视觉对齐的单词嵌入来改善零样本学习

PDF
TL;DR本文提出了一个目标函数来将分布式词嵌入与视觉信息重新对齐，通过学习将其映射到一个新的表示形式 —— 视觉对齐词嵌入（VAWE），从而使 VAWE 的邻域结构与视觉领域中的结构类似，以克服分布式词嵌入和视觉相似性不匹配的问题。经过四种最先进的零 - shot 学习方法和四个基准数据集的评估，VAWE 表现出了持续的性能改进。
zero-shot learningdistributed word embeddingsvisual-semantic discrepancyneural networkzsl methods
发现论文，激发创造
  • 零样本学习有效深度嵌入

    本文针对零样本学习中的交叉域匹配问题，详细探讨优秀的 embedding 空间应满足的两个标准：类内紧度和类间可分性，并提出了一种基于两个分支网络的方法来同时映射语义描述和视觉样本到 joint 空间，并在其中强制要求视觉嵌入与类级语义嵌入相同，同时实现区分可训练分类器，实现跨未知类别输入的优化过程。此外，我们还扩展了我们的方法来处理 ZSL 中的模型偏差问题，并在五个标准数据集上获得了卓越的性能。

    Aug, 2018

  • 基于视觉语义嵌入的广义零样本识别

    本文提出了一种新颖的广义零样本学习（GZSL）方法，它对训练期间的未见图像和未见语义向量具有不可知性。通过提出一种视觉实例的低维嵌入来打破视觉 - 语义间隙，并借助一个新的视觉神谕来量化噪声语义数据的影响，以提高准确性。在一系列数据集上用图模型进行推理的实验结果显示，该方法在语义和视觉监督下均明显优于现有技术。

    Nov, 2018

  • 零样本学习的深度嵌入模型学习

    本研究提出使用视觉空间作为嵌入空间，以解决深度零样本学习模型的瓶颈问题，并提供了一种自然的机制来联合优化多个语义模态。实验表明，与现有模型相比，该模型明显优于其他模型。

    Nov, 2016

  • 通过对齐异构词汇语义空间实现未见词表示

    本文提出了一种利用词典等词汇资源，采用图嵌入和跨语言向量空间转换技术，为未见过的单词诱导嵌入的方法，对多个基准测试进行了优化，表现出一致的性能提升。

    Nov, 2018

  • 利用常识知识改进零样本学习基线

    本研究旨在解决 Zero shot learning 的挑战，利用 ConceptNet 的通识知识图谱，通过图卷积网络自编码器生成类标签的通识嵌入，结合 HA 和 DWE 的管道，可提高视觉和语义嵌入之间的关联性，进而在三个基准数据集上表现优异。

    Dec, 2020

  • 局部聚合词向量的向量化 (VLAWE): 一种新的文档级表示方法

    本文提出了一种基于聚合单词嵌入向量来表示文本的新方法，并将其用于文本分类任务，其中利用词向量的聚类来获得文档嵌入向量，并且 VLAWE 表示法能够达到很好的效果。

    Feb, 2019

  • 利用多语言迁移学习进行无监督语义声学词嵌入

    本文研究了声学词嵌入，探索了语义学声学词嵌入，并提出了一种基于多语种转移的语义学声学词嵌入方法，能够显著提高词汇相似性任务的表现，并且能够用于语义检索。

    Jul, 2023

  • 零样本遥感图像场景分类的深度语义视觉对齐

    我们通过机器自动收集可视属性，并利用转换器中的自注意机制将局部图像区域关联起来，集成背景上下文信息进行预测，以解决远程感知场景分类中的零样本学习问题。通过广泛实验，我们展示了我们的模型在具有挑战性的大规模远程感知场景分类基准上优于其他最先进模型。

    Feb, 2024

  • 基于语义的零样本学习视觉嵌入

    提出了一种称为 joint embeddings for zero-shot learning 的方法，通过计算代理任务上的两流网络中的联合图像和文本模型来学习语义基础和丰富的视觉信息，并利用辅助字幕来提高图像和文本表示之间的对齐，从而在多个基准数据集上评估了该方法，在标准的（aPY 上 + 1.6％，FLO 上 + 2.6％）和常规的（AWA2 上 + 2.1％，CUB 上 + 2.2％）零 - shot 识别中提高了现有最先进方法的性能。

    Jan, 2022

  • 基于渐进语义引导的视觉变形器用于零样本学习

    我们提出了一种用于零样本学习的渐进式语义引导视觉 Transformer（ZSLViT），通过语义嵌入令牌学习改进视觉 - 语义对应关系，发现语义相关的视觉令牌，并且通过弱语义 - 视觉对应关系融合来舍弃与语义无关的视觉信息，从而在零样本学习中实现准确的视觉 - 语义交互作用，我们的 ZSLViT 在 CUB、SUN 和 AWA2 等三个常用基准数据集上取得了显著的性能提升。

    Apr, 2024