CVPRJul, 2019

基于混合注意力的解耦度量学习用于零样本图像检索

PDF
TL;DR本文提出了一种 Decoupled Metric Learning（DeML）框架，用于零样本图像检索任务，针对该任务中的学习行为问题，本文实现了学习视觉判别度度量和防止学习者的部分 / 选择性行为，在流行基准测试中明确展示了这些重要问题的解决必要性，并且在性能上优于现有方法。
zero-shot image retrievalembedding learningmetric learningdecoupled metric learningobject-attention module
发现论文，激发创造
  • 通过度量学习提高语义嵌入一致性，用于零样本分类

    本文提出了一种新的零样本图像分类方法，通过度量学习来控制图像的语义嵌入，实现了不需要在训练阶段使用类别的零样本学习，仅需在地面实况中提供以图像 / 属性为对的约束关系，使得学习模型可以预测一个测试图像与给定属性的一致性，并且该方法在四个挑战性数据集上取得了最好的效果。

    Jul, 2016

  • 语义引导的多注意力区域定位用于零样本学习

    本文关注于零样本学习中如何挖掘物体的区分特征，提出了基于语义导向的多注意力定位模型，该模型通过发现物体最区分性的部分实现了零样本学习且不需要任何人工标注。在三个广泛使用的零样本学习基准测试上的综合实验表明，该模型及其提出的方法在很大程度上提高了现有技术水平的效果。同时，该方法对整个物体以及检测到的部分学习了协同的全局和局部特性，基于语义描述对物体进行分类。

    Mar, 2019

  • 面向零样本基于草图的图像检索的模态感知表示学习

    零样本学习在机器学习模型中提供了一种有效的解决方案，用于处理未见类别，避免了繁琐数据收集。本文提出了一种新颖的框架，通过对比文本间接对齐素描和照片，避免了对素描照片成对样本的需求。通过从数据中学习明确的形态编码，我们的方法将形态不可知的语义与形态特定信息进行了分解，桥接了形态间的差距，并在联合潜空间内实现了有效的跨模态内容检索。通过全面的实验验证了所提出模型在零样本基于素描的图像检索上的有效性，并可应用于广义和细粒度设置。

    Jan, 2024

  • 能量混淆的对抗度量学习在零样本图像检索和聚类中的应用

    本文提出了一种新的基于 Energy Confused Adversarial Metric Learning (ECAML) 框架的深度度量学习方法，该方法通过引入混淆因子，实现优化强鲁棒度量学习。该方法不仅重视判别性，更强调了泛化能力对零样本图像检索和聚类任务的作用，实验结果显示在 CUB、CARS、Stanford Online Products 和 In-Shop 等数据集上达到了最先进的水平。

    Jan, 2019

  • 基于视觉 transformer 的多头自注意力机制用于零样本学习

    本文提出了一种关注机制的模型以学习适用于未见过的类别识别的属性，在三个常用的零样本学习基准测试上达到了新的最先进效果。

    Jul, 2021

  • 知识增强的双流零样本合成图像检索

    我们研究了零样本组合图像检索任务，提出了一种知识增强的双流零样本组合图像检索框架（KEDs），该框架通过数据库丰富了伪词令牌，并采用额外的流来对伪词令牌与文本概念进行对齐，从而在细粒度语义中显式地识别出参考图像。大量实验证明，KEDs 优于之前的零样本组合图像检索方法。

    Mar, 2024

  • MSDN: 用于零样本学习的相互语义蒸馏网络

    本文提出了一个相互语义蒸馏网络（MSDN），通过学习属性感知的视觉特征和视觉感知的属性特征，不断地提炼视觉和属性之间的内在语义表示来解决零样本学习中的潜在语义知识推理问题，并在三个数据集上实现了新的最先进性能。

    Mar, 2022

  • 基于度量学习的零样本分类的难负样本挖掘

    本文基于 Bucher 等人的工作，引入了一种新颖的度量学习目标函数，该函数可与图像和属性之间的相似度一起学习属性的最佳嵌入。本文通过提出若干控制生成负对的方案来扩展这种方法，在三个具有挑战性的零样本分类数据集上，获得了显着的性能提高，达到了最高水平的结果。

    Aug, 2016

  • 深度关系度量学习

    本文提出了一种深度关系度量学习（DRML）框架，用于图像聚类和检索。该方法采用可自适应学习的特征集合来建模类内和类间分布，并使用关系模块和图建模在图像上进行关系推理，得到一种关系感知嵌入来测量相似性，从而有效提高了当前深度度量学习方法的效果。

    Aug, 2021

  • 元学习的零射界物体检测神经网络：Meta-ZSDETR

    本文提出了一种结合 DETR 和元学习进行零样本目标检测的方法 Meta-ZSDETR，通过个体剧集为基础的元学习任务将模型训练形式化，直接使用类特定的查询进行类特定的边界框预测，并通过从分类头预测的准确性进一步过滤它们，利用提出的对比重建损失在视觉空间中进一步区分不同的类别。在 MS COCO 和 PASCAL VOC 两个基准数据集上进行了广泛实验，实验结果表明我们的方法在零样本目标检测方面优于现有的 ZSD 方法。

    Aug, 2023