自监督学习视觉模型中社会偏见分布的研究

CVPRMar, 2022

自监督学习视觉模型中社会偏见分布的研究

A study on the distribution of social biases in self-supervised learning visual models

Kirill Sirotkin, Pablo Carballeira, Marcos Escudero-Viñolo

TL;DR本文研究 Self-Supervised Learning (SSL) 方法在使用 ImageNet 数据集进行训练时是否存在社会偏见的问题，并探讨了不同类型的 SSL 模型与所包含偏见的关系，同时认为在模型选择过程中可以减少社会偏见的数量，同时保持高性能。

Abstract

deep neural networks are efficient at learning the data distribution if it is sufficiently sampled. However, they can be strongly biased by non-relevant factors implicitly incorporated in the training data. These include operational biases, such as ineffective or uneven data sampling,

deep neural networks social biases self-supervised learning ssl visual models model selection

发现论文，激发创造

关于言语自我监督模型的社会偏见

自监督学习（SSL）语音模型在各种任务中取得了显著的成果，然而其偏见及对边缘群体的影响引起了重要关注。本研究揭示了普遍的 SSL 模型无意间获取了有偏见的相关性，并探究了模型架构、大小以及训练方法等因素对社会偏见传播的影响。最后，通过压缩方法，特别是通过行剪枝和训练宽而浅的模型，探索了消除社会偏见的技术的有效性。研究结果表明，在 SSL 模型中采用这些技术可以有效减轻社会偏见。

Jun, 2024

评估自监督和监督模型在顺序数据中的公平性

自监督学习对公平性和性能的影响进行了研究，结果表明通过自我监督学习，性能可与有监督方法相媲美，同时可以极大提高公平性，尤其适用于高风险、数据稀缺的应用领域，如医疗保健。

Jan, 2024

利用自监督学习提升模型公平性

自我监督学习对模型的公平性具有显著影响，通过引入公平性评估框架，该研究系统地比较了数百个自我监督和精调模型在性能和公平性方面的差异，并证明了自我监督学习可以在最小损失性能的情况下显著提高模型的公平性。

Jun, 2024

通过无监督预训练学习的图像表示包含类人偏差

本文通过研究基于大规模未标记图像数据的机器学习方法，并发现其可能对种族，性别，体重，残疾和少数种族存在的偏见和刻板印象进行了分类和嵌入，从而证明了这些模型可能会自动学习社会偏见。

Oct, 2020

自监督学习对数据集失衡更具鲁棒性

本文通过广泛的实验和理论分析，系统研究了在数据集不平衡的情况下自监督学习的表现，并通过半合成实验验证了 SSL 学习了与标签无关但可转移的特征，进而提出了一种新的加权正则化技术，显著提高了 SSL 表示的质量。

Oct, 2021

自监督学习的逆向工程

本文深入分析了自监督学习的机制以及其对表示学习的影响，揭示了自监督学习在样本聚类方面的潜在驱动作用，同时证实了该方法所训练的表示与语义类别之间存在着密切的对齐关系，并且这种对齐关系随着训练和网络深度的加深而不断增强，这对于提高自监督学习方法的性能和效果具有重要的理论和实际意义。

May, 2023

我们能否摆脱自我监督学习中的强数据增强？

自我监督学习（SSL）作为应对深度神经网络（DNNs）中有限标记数据挑战的一种有前途的解决方案，具有可扩展性潜力。本研究全面探索了 SSL 在各种数据增强中的行为，揭示了它们在塑造 SSL 模型性能和学习机制方面的关键作用。利用这些见解，我们提出了一种集成先验知识的新学习方法，旨在减少对大量数据增强的需求，从而增强学习表示的有效性。尤其值得注意的是，我们的发现表明，富含先验知识的 SSL 模型表现出较小的纹理偏差，对快捷方式和增强技术的依赖减弱，并且对自然和对抗性破坏具有改进的鲁棒性。这些发现不仅为 SSL 研究指明了新的方向，而且为提高 DNN 性能、减轻对大量数据增强的要求，从而增强可扩展性和实际问题解决能力方面铺平了道路。

Apr, 2024

简单去偏置的安全半监督学习：不要害怕未标记的数据

提出一种去偏移的方法，适用于多数深度半监督学习方法，并提供了简单的理论保证和推广误差界限，以在各种情境中提供更好的模型校准，同时说明了流行的 SSL 方法的直觉解释。

Mar, 2022

低数据条件下的自监督视觉学习：一项比较评估

在相对有限 / 受约束的数据集中，通过比较实验评估了现代视觉自监督学习方法的有效性，发现针对特定领域的下游任务，在领域内的低数据量自监督预训练优于在通用数据集上进行大规模预训练，为该领域中各类自监督学习方法的性能提供了有价值的见解，并提出了直接的未来研究方向。

Apr, 2024

博弈论角度下半监督学习不公平问题研究

本文研究了在利用半监督学习算法时，不同子集人群的性能变化问题，发现使用半监督学习算法时，更强的基准组比更弱的基准组更容易受益，而对于性能原本就比较低的基准组，可能还会观察到性能下降，进而提出了两个新的评估指标。

Oct, 2021