Apr, 2023

EMP-SSL: 迈向自监督学习一轮训练

PDF
TL;DR本文介绍了一种非常高效的自监督学习方法 —— 极端多补丁自监督学习（Extreme-Multi-Patch Self-Supervised-Learning, EMP-SSL）。与大多数自监督学习方法相比，该方法通过增加每个图像实例的图像数量，避免了很多启发式技术，并将训练时长减少了两个数量级，同时在 CIFAR-10 和 ImageNet-100 等多个数据集上达到了较高的精度。
self-supervised learningimage representationcropseff-ssltransferability
发现论文，激发创造
  • 无监督学习在少样本图像分类中的应用

    本研究提出了一种自我监督学习的方法，以训练更通用的嵌入网络，可以在少样本的情况下实现更好的图像分类性能，即使在跨域情况下也表现出一定的鲁棒性。

    Nov, 2019

  • 数据有效对比自监督学习：简单样本对学习最有帮助

    该研究发现对于对比自监督 (SLL) 来说，那些与其他示例具有最相似增强的样例在学习表示方面贡献最大。此外，研究还表明，对正在进行的任务性能不会产生负面影响的情况下，可以安全地排除 CIFA100 和 STL10 分别的 20% 和 40% 示例。

    Feb, 2023

  • 提高自监督学习的算法、模型和数据效率

    通过分析梯度公式，我们对基于非参数实例区分的单分支自监督学习方法进行了改进，提出了一种新的自蒸馏损失以减小实例区分中的更新问题，并且在训练开销和性能方面与不同方法进行了系统比较，在不同规模的数据和不同骨干网络下，我们的方法在大大降低开销的同时，比各种基准方法表现更好，尤其在有限数量的数据和小型模型的情况下效果显著。

    Apr, 2024

  • 自监督学习的逆向工程

    本文深入分析了自监督学习的机制以及其对表示学习的影响，揭示了自监督学习在样本聚类方面的潜在驱动作用，同时证实了该方法所训练的表示与语义类别之间存在着密切的对齐关系，并且这种对齐关系随着训练和网络深度的加深而不断增强，这对于提高自监督学习方法的性能和效果具有重要的理论和实际意义。

    May, 2023

  • 利用自监督深度学习增强乳腺癌筛查乳腺 X 线摄影的检测能力

    本研究探讨了基于强数据扩充的无监督自我学习技术在人工智能应用中的重要作用，以乳腺癌检测为例，通过实验验证表明使用该技术可以大幅提高数据利用率，而且更容易迁移到其他数据集，是医学图像人工智能领域迈向无监督学习和去掉传统稀缺标签的重要突破。

    Mar, 2022

  • 加权集成自监督学习

    本文使用数据相关加权交叉熵损失函数的框架，探索如何通过集成方法提高最近的自监督学习技术，实验证明我们的方法在 ImageNet-1K 的少样本学习中优于现有的 SSL 方法

    Nov, 2022

  • 通过简单的集成投影器进行去偏、校准和改进的半监督学习性能

    该研究提出了一种名为 Ensemble Projectors Aided for Semi-supervised Learning (EPASS) 的简单方法，主要关注于改进学习的嵌入以提高现有对比联合训练半监督学习框架的性能。通过将多个投影仪的集合嵌入存储在内存中，EPASS 提高了泛化能力，增强了特征表示，并提升了性能。对于 ImageNet 数据集上的 SimMatch 和 CoMatch 等任务，EPASS 相对于强基线模型，仅使用 1k/1%/10% 的标记数据，将 top-1 错误率提高了 39.47%/31.39%/24.70% 和 40.24%/32.64%/25.90%，这些改进在多种方法、网络架构和数据集上都具有一致的有效性。

    Oct, 2023

  • 自监督学习对数据集失衡更具鲁棒性

    本文通过广泛的实验和理论分析，系统研究了在数据集不平衡的情况下自监督学习的表现，并通过半合成实验验证了 SSL 学习了与标签无关但可转移的特征，进而提出了一种新的加权正则化技术，显著提高了 SSL 表示的质量。

    Oct, 2021

  • 带有少量标注的半监督学习

    本文提出一种新的 SSL 算法，通过引入转移学习和自主监督来初始化数据的表示，再利用新算法，交替拟合有标签和无标签点以降低过拟合和避免标签和无标签损失平衡的问题。实验证明，该方法在标准基准测试中表现优异，特别是在从其他任务或数据集中细化时，效果更佳。

    May, 2019

  • 自监督何时能够提高小样本学习？

    通过实验和分析，研究了自监督学习对于小样本学习的有效性，证明自监督学习可以降低元学习中相对误差率 4%-27%，对元学习器有更多的改进，尤其是在训练集更小或任务更具挑战性的情况下。但在元学习和自监督学习使用的图像分布不同时，自监督学习有可能会降低元学习器的表现。最后，作者提出一种方法，可以从大量的通用未标记图片中自动选择适合特定数据集的自监督学习样本，以进一步提高元学习器的性能。

    Oct, 2019