ICMLSep, 2020

S2SD：深度度量学习中同时基于相似性的自蒸馏

PDF
TL;DR本文提出了一种名为 S2SD 的新方法，将基于相似性的自我蒸馏应用于 Deep Metric Learning 模型中，通过辅助高维度嵌入和特征空间的知识蒸馏，在保持测试时间成本不变的情况下，实现推理性能的显著提升。实验结果表明，该方法能够有效地提高 Recall@1 指标，同时也创造了新的最优性能记录。
deep metric learningsimilarity-based self-distillationembeddinggeneralization capacityzero-shot applications
发现论文，激发创造
  • 基于方向统计的深度度量学习在图像分类和检索中的应用

    本文提出了一种基于余弦相似度的 DDML 方法，以更好地利用 L2 归一化，并提出了一种基于 von Mises-Fisher 分布的新型损失函数来学习子空间结构，加上一种新的高效学习算法可以更好地捕捉嵌入空间的整体结构，并在几个标准数据集上进行分类和检索实验，证明我们的方法具有良好的性能和较简单的训练过程。

    Feb, 2018

  • 半监督度量学习：深度复苏

    本文研究了面向深度学习的半监督度量学习，提出了基于随机和图的方法，通过传播标记数据对的相似度来挖掘度量学习的三元组约束，并施加正交性约束以避免模型萎缩。

    May, 2021

  • 深度度量学习中训练策略和泛化性能的重访

    本文通过对深度度量学习算法的客观比较研究，发现了深度度量学习算法饱和度高于文献中表明的水平，并揭示了嵌入空间密度与模型泛化性能之间的相关性，并提出了一种简单有效的训练正则化方法来提高基于排名的深度度量学习模型的性能。

    Feb, 2020

  • 本地相似性感知深度特征嵌入

    本文提出了一种自适应于本地功能结构的相似度度量，由于有利于选择真正的艰难样本来指导深度嵌入学习，并且具有更快收敛和提高性能的优势，在复杂的图像检索数据集上表现优异。

    Oct, 2016

  • 密度自适应的深度度量学习

    本论文提出将数据的密度测量集成到 DML 的优化框架中，以在端到端的训练过程中自适应平衡类间相似性和类内变异性，通过在三种嵌入方式上增加密度适应性，不断地在三个公共数据集上展示清晰的改善。

    Sep, 2019

  • 自适应密度判别度量学习

    本文针对之前的距离度量学习算法中存在的一些问题，提出了一种通过分布模型在表示空间中自适应评估相似性，并通过惩罚类别分布重叠实现局部判别的新方法，在多项任务上取得了最新的分类结果，并提高了所学表示的属性集中度和层次恢复能力。

    Nov, 2015

  • 将语言引导集成到基于视觉的深度度量学习中

    采用语言指导目标来进行视觉相似性学习，以更好地实现语义一致性并提升 Deep Metric Learning 的泛化能力。实验证明，语言指导方案可在各项基准测试中实现明显的模型无关性改善，并取得具有竞争力和最先进的结果。

    Mar, 2022

  • 引导式深层度量学习

    本文提出了一种新的由两个独立模型构成的度量学习结构 Guided Deep Metric Learning，通过使用 Few-Shot Learning 的角度来生成一个基于带标签数据的先验知识的减少的假设空间，之后通过离线的知识蒸馏方案来指导或规则化学生模型的决策边界，提高在分布偏移下的一般化，并获得了高达 40% 的 (Recall@1, CIFAR10) 改进。

    Jun, 2022

  • 去噪多相似度公式：鲁棒性度量学习的自适应计划驱动方法

    本文提出了基于自适应采样的均衡自适应度量学习（BSPML）算法，该算法采用去噪多相似度计算，并将噪声样本作为极其困难的样本，并根据样本权重自适应删除样本以提高模型的稳健性和泛化能力。

    Nov, 2022

  • 利用辅助旋转损失进行无监督的深度度量学习

    本文提出了一种基于无监督聚类算法的伪标签来生成深度度量学习中的标签，使用自监督 (SS) 任务的无监督深度度量学习 (UDML)，并通过预测图像旋转来规范化训练过程，从而实现了聚类嵌入、自监督预期任务和一致性优化的联合学习。

    Nov, 2019