Nov, 2022

InDiReCT: 语言引导的零样本深度度量学习（Deep Metric Learning）用于图像

PDF
TL;DR本研究提出了一种基于自然语言的零样本度量学习方法，应用于图像检索系统中，使用自然语言控制图像表征属性，通过使用文本提示进行训练，并利用 CLIP 模型将文本提示嵌入到图像嵌入空间中，从而实现根据不同的相似度概念创建自定义嵌入空间的快速训练和易于使用的方法。实验结果表明，在仅使用自然语言进行训练的情况下，此方法性能优于强基线模型，接近于完全监督模型。
发现论文，激发创造
  • 将语言引导集成到基于视觉的深度度量学习中

    采用语言指导目标来进行视觉相似性学习，以更好地实现语义一致性并提升 Deep Metric Learning 的泛化能力。实验证明，语言指导方案可在各项基准测试中实现明显的模型无关性改善，并取得具有竞争力和最先进的结果。

    Mar, 2022

  • 引导式深层度量学习

    本文提出了一种新的由两个独立模型构成的度量学习结构 Guided Deep Metric Learning，通过使用 Few-Shot Learning 的角度来生成一个基于带标签数据的先验知识的减少的假设空间，之后通过离线的知识蒸馏方案来指导或规则化学生模型的决策边界，提高在分布偏移下的一般化，并获得了高达 40% 的 (Recall@1, CIFAR10) 改进。

    Jun, 2022

  • 自省式深度度量学习

    本研究提出一种内省型深度度量学习（IDML）框架，用于对图像进行不确定性感知的比较。通过不仅使用语义嵌入还使用伴随的不确定性嵌入来表示图像，该框架改进了深度度量学习的性能，并在图像检索和聚类等任务上取得了最先进的结果。

    Sep, 2023

  • 基于方向统计的深度度量学习在图像分类和检索中的应用

    本文提出了一种基于余弦相似度的 DDML 方法，以更好地利用 L2 归一化，并提出了一种基于 von Mises-Fisher 分布的新型损失函数来学习子空间结构，加上一种新的高效学习算法可以更好地捕捉嵌入空间的整体结构，并在几个标准数据集上进行分类和检索实验，证明我们的方法具有良好的性能和较简单的训练过程。

    Feb, 2018

  • 内省式深度度量学习

    该论文提出了一种基于内省的深层度量学习框架，用于对图像进行不确定性感知的比较，该框架使用语义嵌入和不确定性嵌入来表示图像的特征以及模糊程度，并使用内省相似性度量来进行图像的相似度比较，取得了在图像检索和分类任务中的最先进性能。

    May, 2022

  • 深度关系度量学习

    本文提出了一种深度关系度量学习（DRML）框架，用于图像聚类和检索。该方法采用可自适应学习的特征集合来建模类内和类间分布，并使用关系模块和图建模在图像上进行关系推理，得到一种关系感知嵌入来测量相似性，从而有效提高了当前深度度量学习方法的效果。

    Aug, 2021

  • DeCLUTR: 无监督文本表示的深度对比学习

    本文介绍 DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations，是一种无监督的学习通用语句嵌入的方法，其优于仅仅使用大规模数据集。该方法扩展了基于 Transformer 的语言模型的预训练，可以在大量的未标注培训数据下达到可监管培训的质量水平，这个解决方案可以应用于没有标注数据的语言和领域。该研究的代码和预训练模型是公开的，可以轻松地适应新的领域或用于嵌入以前不见过的文本。

    Jun, 2020

  • DenseCLIP: 基于语言引导的密集预测和上下文感知提示

    本文提出了一种框架，通过使用 CLIP 的预训练知识的隐式和显式方法来进行密集预测，是一种模型不可知的方法，可应用于任意密集预测系统和各种预训练视觉 Backbones，包括 CLIP 模型和 ImageNet 预训练模型，实证实验表明，我们的方法在语义分割，目标检测和实例分割任务上具有优越的性能。

    Dec, 2021

  • 无处不在的监管：一种数据高效的对比语言图像预训练范式

    本文提出一种用于 Contrastive Language-Image Pre-training (CLIP) 的新的训练方法，Data efficient CLIP (DeCLIP)，通过充分利用图像 - 文本对之间的广泛监督来更有效地学习通用视觉特征，在使用较少数据的情况下实现 60.4% 的零样本 top1 准确率，并在转化到下游任务时优于常规 CLIP 模型。

    Oct, 2021

  • 密度自适应的深度度量学习

    本论文提出将数据的密度测量集成到 DML 的优化框架中，以在端到端的训练过程中自适应平衡类间相似性和类内变异性，通过在三种嵌入方式上增加密度适应性，不断地在三个公共数据集上展示清晰的改善。

    Sep, 2019