Apr, 2023

SSL 模型是否有 déjà vu？自监督学习中无意识 memorization 的情况

PDF
TL;DR本文研究了自监督学习算法中的 deja vu 记忆现象，该现象将 image-specific 信息非预期地编码进模型，从而带来潜在的隐私风险。作者展示了这种记忆现象的存在性、普遍性和难以检测性，并提出了可能的缓解策略。
self-supervised learningimage representationsdéjà vu memorizationprivacy risksmitigation strategies
发现论文，激发创造
  • 视觉语言模型中的 Déjà Vu 记忆

    Vision-Language Models have been widely used with downstream applications, and this paper proposes a method for measuring memorization in these models called déjà vu memorization, confirming its significance in OpenCLIP trained on image-caption pairs and showing that text randomization mitigates the extent of memorization while moderately affecting downstream task performance.

    Feb, 2024

  • 自监督学习中的记忆提高了下游泛化

    我们提出了 SSLMem，一个用于在自监督学习中定义记忆化的框架，通过对数据点及其增强视图返回的编码器之间表示的对齐差异进行比较，揭示了大规模数据集和强增强的自监督学习中存在高度记忆化的数据点，并且这种记忆化对于编码器在不同下游任务中实现更高泛化性能是必不可少的。

    Jan, 2024

  • 评估自监督表示对背景 / 前景去除的鲁棒性

    本文比较分析了 DINOv2、MAE 和 SwaV 等最先进的模型在对四种图像分类数据集进行前景和背景分割时生成的 SSL 表示的差异，并通过人为遮挡图像中心区域来测试不同遮挡策略的有效性，考虑了纹理数据集。使用大量统计分析，实验证明并不是所有模型都能使前景，背景和完整图像分离。

    Jun, 2023

  • 自监督学习的逆向工程

    本文深入分析了自监督学习的机制以及其对表示学习的影响，揭示了自监督学习在样本聚类方面的潜在驱动作用，同时证实了该方法所训练的表示与语义类别之间存在着密切的对齐关系，并且这种对齐关系随着训练和网络深度的加深而不断增强，这对于提高自监督学习方法的性能和效果具有重要的理论和实际意义。

    May, 2023

  • 从多视角探寻规律：自监督和正则化学习用于多视角物体识别

    研究了多角度自我监督学习中的物体不变表示问题，提出了一种随机原型嵌入方法，并使用多角度一致性正则化来实现该方法。实验表明，该方法能够在已知和未知数据上优于其他自我监督学习方法，并且可以应用于少量数据场景中。

    Mar, 2020

  • 自监督学习抵御模型抽取的难度

    探索了针对自我监督学习 (SSL) 模型的模型窃取攻击，使用这些攻击可以将受害者模型的表示进行窃取并通过训练获得高精度的下游模型。同时，既有的防御方法对于自我监督学习的特殊性不是有效的保护措施。

    May, 2022

  • 自监督学习视觉模型中社会偏见分布的研究

    本文研究 Self-Supervised Learning (SSL) 方法在使用 ImageNet 数据集进行训练时是否存在社会偏见的问题，并探讨了不同类型的 SSL 模型与所包含偏见的关系，同时认为在模型选择过程中可以减少社会偏见的数量，同时保持高性能。

    Mar, 2022

  • 我们能否摆脱自我监督学习中的强数据增强？

    自我监督学习（SSL）作为应对深度神经网络（DNNs）中有限标记数据挑战的一种有前途的解决方案，具有可扩展性潜力。本研究全面探索了 SSL 在各种数据增强中的行为，揭示了它们在塑造 SSL 模型性能和学习机制方面的关键作用。利用这些见解，我们提出了一种集成先验知识的新学习方法，旨在减少对大量数据增强的需求，从而增强学习表示的有效性。尤其值得注意的是，我们的发现表明，富含先验知识的 SSL 模型表现出较小的纹理偏差，对快捷方式和增强技术的依赖减弱，并且对自然和对抗性破坏具有改进的鲁棒性。这些发现不仅为 SSL 研究指明了新的方向，而且为提高 DNN 性能、减轻对大量数据增强的要求，从而增强可扩展性和实际问题解决能力方面铺平了道路。

    Apr, 2024

  • 低数据条件下的自监督视觉学习：一项比较评估

    在相对有限 / 受约束的数据集中，通过比较实验评估了现代视觉自监督学习方法的有效性，发现针对特定领域的下游任务，在领域内的低数据量自监督预训练优于在通用数据集上进行大规模预训练，为该领域中各类自监督学习方法的性能提供了有价值的见解，并提出了直接的未来研究方向。

    Apr, 2024

  • 领域内自监督学习可提高遥感图像分类

    本文研究了自监督学习在遥感图像分类中的应用， 使用 ViT 模型和 iBOT 框架进行预训练可以提高模型预测性能。

    Jul, 2023