SLADE: 距离度量学习的自我训练框架

CVPRNov, 2020

SLADE: 距离度量学习的自我训练框架

SLADE: A Self-Training Framework For Distance Metric Learning

Jiali Duan, Yen-Liang Lin, Son Tran, Larry S. Davis, C.-C. Jay Kuo

TL;DR本文提出了一种自我训练的框架，利用未标记的数据来提高检索性能，使用伪标签增强了师生模型的性能，通过自监督表示学习初始化，设计了用于学生网络的新的特征基础函数学习组件来更好地处理师傅网络产生的伪标签噪声，并在标准检索基准上进行了评估，结果表明，该方法在性能上显著优于现有方法。

Abstract

Most existing distance metric learning approaches use fully labeled data to learn the sample similarities in an embedding space. We present a self-training framework, SLADE, to improve retrieval performance by le

distance metric learning self-training framework pseudo labels self-supervised representation learning retrieval performance

发现论文，激发创造

无标签的自学度量学习

本文提出了一种新的自学习框架用于无监督度量学习，该框架通过交替预测数据之间的类等价关系和利用预测的关系作为伪标签来学习模型。其中的算法能够有效地进行端到端的训练，因为它不需要伪标签的现成模块。通过在标准的度量学习基准上的表现，它明显优于现有的无监督学习方法，有时甚至比使用相同基础网络的监督学习模型更好。它也被应用于半监督的度量学习，并通过提高监督学习的性能，实现了现有最先进的表现。

May, 2022

度量嵌入的半监督深度学习

本文提出了一种基于深度度量嵌入的半监督学习算法，利用少量标注数据和无标注数据的相对距离关系约束，得到在欧氏空间内区分力强的分类器，并可用于基于最近邻分类的应用。

Nov, 2016

连锁原型对比学习

本研究提出了一种简单而有效的对比学习框架来解决 Contrastive Self-supervised Learning (CSL) 中样本不足问题，将同一个输入的不同视角拉近，不同输入的视角推远，提高了视觉表征的质量，并在 ImageNet-1K 数据集上表现出了超越完全监督训练版本的性能。

Aug, 2022

利用辅助旋转损失进行无监督的深度度量学习

本文提出了一种基于无监督聚类算法的伪标签来生成深度度量学习中的标签，使用自监督 (SS) 任务的无监督深度度量学习 (UDML)，并通过预测图像旋转来规范化训练过程，从而实现了聚类嵌入、自监督预期任务和一致性优化的联合学习。

Nov, 2019

成对相似度学习是简洁的

在本文中，我们研究了一个广泛且重要的学习问题 —— 成对相似度学习（PSL）。我们提出了一种简单但令人惊讶的无代理方法 SimPLE，该方法在开集识别中能够很好地推广，应用于开集人脸识别、图像检索和说话人验证三个挑战性的 PSL 任务上，通过大规模基准实验结果表明我们的方法明显优于现有的最先进方法。

Oct, 2023

通过提升的结构特征嵌入进行深度度量学习

本文介绍了一种利用训练批次的算法，将向量的成对距离提升到成对距离矩阵，从而以学习结构化预测目标的方式来优化最先进的特征嵌入方法，同时在 CUB-200-2011、CARS196 和 Online Products 数据集上进行实验，证明在所有实验的嵌入尺寸上都能够显著提高。

Nov, 2015

基于质心的深度度量学习用于说话人识别

本研究通过利用神经网络将话语映射到一个距离反映说话人相似度的空间中的讲话人嵌入模型，优化了一种使用典型网络损失（PNL）的讲话人嵌入模型，从而优于基于三元组损失的模型，在见过和没见过讲话人的情况下，都能够在讲话人验证和识别任务中取得更好的性能

Feb, 2019

预训练句子嵌入的相互强化框架

本研究基于自监督对比学习方法，提出了一种名为 InfoCSE 的新型框架，用于解决手工数据注释不可靠的问题，通过迭代的自我监督和数据标注反馈，实现了句子表示模型和数据注释方法的相互协作，有效提高了自监督学习的效果。实验证明，该方法在三个基准数据集上取得了显著的改善。

Feb, 2022

深度度量学习的分段线性流形

无监督深度度量学习通过仅使用无标签数据来学习语义表示空间，其中准确估计数据点之间的相似度是一个具有挑战性的问题。为此，我们提出了使用分段线性逼近来建模高维数据流形的方法，其中每个低维线性段近似于点周围小邻域内的数据流形。通过这些邻域来估计数据点之间的相似度。实验证明，与现有最先进技术的相似度估计相比，我们的方法更好地与真实情况相关。我们还证明，在无监督环境中可以使用代理模型分段线性流形，从而提高性能。我们的方法在标准零样本图像检索基准测试上优于现有的无监督度量学习方法。

Mar, 2024

对比自监督学习框架及设计新方法

通过解决先验任务从无标签数据集中选择和比较 anchor、negative 和 positive 特征来学习有用的表示，我们提出了一个概念性框架，该框架从数据增强管道、编码器选择、表示提取、相似性度量和损失函数五个方面表征对比自监督学习方法。我们分析了三种主要的 CSL 方法 - AMDIM、CPC 和 SimCLR-，并表明它们是这个框架下的特殊情况。通过设计 Yet Another DIM（YADIM），我们展示了我们框架的效用，该方法在 CIFAR-10、STL-10 和 ImageNet 上取得了竞争性结果，并且对编码器的选择和表示提取策略更具鲁棒性。为了支持正在进行的 CSL 研究，我们发布了此概念框架的 PyTorch 实现，以及 AMDIM、CPC（V2）、SimCLR、BYOL、Moco（V2）和 YADIM 的标准化实现。

Aug, 2020