Mar, 2024

不良批次：通过代表性批次策划提升图像分类中的自监督学习

PDF
TL;DR通过 Fréchet ResNet Distance (FRD) 使用成对相似度计算来获得稳健的非标注数据表示，从而显著提高自我监督对比学习中用于图像分类任务的线性分类器的准确率。
self-supervised contrastive learningrobust representationspairwise similarity calculationsfréchet resnet distance (frd)image classification tasks
发现论文，激发创造
  • 监督对比学习

    本文介绍了一种基于对比学习的自我监督表征学习方法，并将其推广到全监督设置中。其中，相同类别的样本点在嵌入空间中被拉在一起，而来自不同类别的样本则被同时推开，以实现更好的分类性能。实现简单，最佳损失函数表现优于交叉熵。

    Apr, 2020

  • 利用假阴性消除增强对比自监督学习

    提出一种用于自监督对比学习的方法，包括 false negative 的识别和消除、对抗等策略以及对该问题进行的严格评估。该方法在 ImageNet 数据集上取得了一定的成果，无标签数据集下可以在 1000 个语义类中以 40% 的精度正确识别 false negative，并在有 1% 标签数据下达到了 5.8% 的 top-1 准确率的绝对改进。

    Nov, 2020

  • 从朋友那儿获取帮助：最近邻对比学习视觉表示

    NNCLR 是一种基于最近邻对比学习的自监督学习算法，将数据集中最近邻作为正样本而不是图像的不同视角，能够提供比预定义的变换更多的语义变化，达到了在 ImageNet 分类和迁移学习基准测试中超越现有先进方法的效果。此外，该方法的鲁棒性能更好，对于数据变换的依赖性更小。

    Apr, 2021

  • 对比学习的增量式虚假负例检测

    本研究提出了一个新的自监督对比学习框架，该框架在训练过程中动态检测错误负样本并加以删除，在多个基准测试中表现优于其他自监督对比学习方法。

    Jun, 2021

  • 自监督表示学习低效性问题的解决

    本文研究了自监督学习中对比度学习的效率问题，提出了截断三元组的损失函数以同时解决聚类不足和聚类过度问题，并在多个基准测试中表示其优越性。

    Apr, 2021

  • 对抗对比自监督学习

    本文介绍了一种基于在线负样本对挖掘的自我监督深度学习范式，包括学生教师网络、正负样本对挖掘和三元组式的损失函数等，实验表明该方法可以有效地提高标签效率并在 ILSVRC-2012 上表现优异。

    Feb, 2022

  • 划分与对比：自监督学习从未审查的数据中学习

    本文研究自监督学习在大规模数据集上的应用，提出了一种基于对比学习与聚类的硬负样本挖掘方法（DnC），在 less-curated 数据集上的预训练，可以显著提高自监督学习在后续任务上的表现效果，并与目前在高度筛选数据集上的最新水平保持竞争力。

    May, 2021

  • 对比度视觉表征学习何时有效？

    本文研究了自监督学习在四个不同的大规模数据集上的对比学习方法，通过数据量、数据领域、数据质量和任务粒度，得出了有关成功自监督学习所需条件的新见解，其中包括：(i) 除 500k 张图像外，额外的预训练数据的收益有限；(ii) 添加来自另一个领域的预训练图像不会产生更通用的表示。(iii) 比较学习在细粒度的视觉分类任务中远远落后于监督学习。

    May, 2021

  • 对抗噪声标签的稳健特征学习

    This paper proposes a method to improve the robustness of deep learning models in the presence of noisy labels by utilizing unsupervised learning and cluster regularization.

    Jul, 2023

  • 对比学习的硬负样本混合

    研究表明，在自监督学习中使用 hard negatives, 数据混合等技术可以提高视觉表示的质量，本文提出了一种基于特征水平的硬负例混合策略，并在多个任务上验证其有效性。

    Oct, 2020