Aug, 2022

自监督并非魔法：理解图像异常检测中的数据增强

PDF
TL;DR本文通过对三种不同模型以及 420 种不同任务的广泛实验，认真研究了数据增强在异常检测中的作用，得出自监督作为另一个模型超参数，需要根据真实异常特征仔细选择数据增强方式的结论，并且在缺乏对应的情况下，自监督甚至会降低准确性，从而为未来的研究提供了新的方向
self-supervised learninganomaly detectiondata augmentationmodel hyperparameterimage-based
发现论文，激发创造
  • 自监督解决无监督异常检测的困境和机遇

    自我监督学习在无监督异常检测中起到重要作用，对 SSL 策略的选择、超参数的调整、预处理任务和增强函数的设计以及基于密度估计的预训练模型的利用提出了新的发展和挑战。

    Aug, 2023

  • 自监督异常检测的端到端数据增强超参数调整

    本文介绍了基于自我调整自监督异常检测（ST-SSAD）的新方法，该方法通过数据扩充来调整超参数，从而在语义类异常和微妙的工业缺陷中实现了显著的性能提升。

    Jun, 2023

  • 我们能否摆脱自我监督学习中的强数据增强？

    自我监督学习（SSL）作为应对深度神经网络（DNNs）中有限标记数据挑战的一种有前途的解决方案，具有可扩展性潜力。本研究全面探索了 SSL 在各种数据增强中的行为，揭示了它们在塑造 SSL 模型性能和学习机制方面的关键作用。利用这些见解，我们提出了一种集成先验知识的新学习方法，旨在减少对大量数据增强的需求，从而增强学习表示的有效性。尤其值得注意的是，我们的发现表明，富含先验知识的 SSL 模型表现出较小的纹理偏差，对快捷方式和增强技术的依赖减弱，并且对自然和对抗性破坏具有改进的鲁棒性。这些发现不仅为 SSL 研究指明了新的方向，而且为提高 DNN 性能、减轻对大量数据增强的要求，从而增强可扩展性和实际问题解决能力方面铺平了道路。

    Apr, 2024

  • 关于超参数和数据增强在自监督学习中的重要性

    研究表明，超参数和数据增强策略的选择对 Self-Supervised Learning（SSL）方法的影响很大，因此可以通过超参数优化和引入新的数据增强算法 GroupAugment 来提高 SSL 的性能和准确率。

    Jul, 2022

  • 利用自监督深度学习增强乳腺癌筛查乳腺 X 线摄影的检测能力

    本研究探讨了基于强数据扩充的无监督自我学习技术在人工智能应用中的重要作用，以乳腺癌检测为例，通过实验验证表明使用该技术可以大幅提高数据利用率，而且更容易迁移到其他数据集，是医学图像人工智能领域迈向无监督学习和去掉传统稀缺标签的重要突破。

    Mar, 2022

  • 自监督学习中的进化增强策略优化

    本文介绍了一种基于自主学习算法的预训练深度神经网络的方法，通过演化搜索方法在预处理任务的数据增益管道中编码数据增益算子的不同组合，优化所谓的‘拟预处理任务’，并测量了增强运算器对几个最先进的自监督学习算法性能的影响。研究结果表明，优化规则采用的数据增强器算子组合对自监督学习算法整体性能具有显着影响。

    Mar, 2023

  • 自监督学习提升合成孔径声纳目标识别

    这项研究探讨了自监督学习（SSL）在合成孔径声纳（SAS）图像识别改进中的应用，结果表明，尽管两个 SSL 模型在少样本情况下可以优于完全监督模型，但在使用全部标签时不能超过其性能，这有助于减少数据标记的时间和成本，同时提供了远程感知中使用 SSL 的证据。

    Jul, 2023

  • 增强方法与算法：自监督学习中的有效途径

    我们研究了自监督学习中数据增强、预训练算法和模型架构的相对效果。通过比较多个著名的自监督学习方法，我们发现增强技术对性能的改进更为显著，而许多算法改进只有微小的影响。我们的发现挑战了自监督学习主要由算法改进主导的预设，并指出多样的增强方法以及数据和模型规模是自监督学习近期进展的更为关键的因素。

    Mar, 2024

  • SSL 交互作用：扩充、归纳偏差，与泛化

    本文对自我监督学习的理论与实践中被忽视的问题进行了分析，阐述了数据增强、网络结构和训练算法对于预训练和下游任务泛化性能的影响，并为自我监督学习的从业者指出了一些有价值的见解。

    Feb, 2023

  • 领域内自监督学习可提高遥感图像分类

    本文研究了自监督学习在遥感图像分类中的应用， 使用 ViT 模型和 iBOT 框架进行预训练可以提高模型预测性能。

    Jul, 2023