利用自监督学习提升模型公平性

Jun, 2024

Using Self-supervised Learning Can Improve Model Fairness

Sofia Yfantidou, Dimitris Spathis, Marios Constantinides, Athena Vakali, Daniele Quercia...

TL;DR自我监督学习对模型的公平性具有显著影响，通过引入公平性评估框架，该研究系统地比较了数百个自我监督和精调模型在性能和公平性方面的差异，并证明了自我监督学习可以在最小损失性能的情况下显著提高模型的公平性。

Abstract

self-supervised learning (SSL) has become the de facto training paradigm of large models, where pre-training is followed by supervised fine-tunin

发现论文，激发创造

自监督学习对公平性和性能的影响进行了研究，结果表明通过自我监督学习，性能可与有监督方法相媲美，同时可以极大提高公平性，尤其适用于高风险、数据稀缺的应用领域，如医疗保健。

Jan, 2024

本文通过广泛的实验和理论分析，系统研究了在数据集不平衡的情况下自监督学习的表现，并通过半合成实验验证了 SSL 学习了与标签无关但可转移的特征，进而提出了一种新的加权正则化技术，显著提高了 SSL 表示的质量。

Oct, 2021

本文研究了在利用半监督学习算法时，不同子集人群的性能变化问题，发现使用半监督学习算法时，更强的基准组比更弱的基准组更容易受益，而对于性能原本就比较低的基准组，可能还会观察到性能下降，进而提出了两个新的评估指标。

Oct, 2021

本文研究 Self-Supervised Learning (SSL) 方法在使用 ImageNet 数据集进行训练时是否存在社会偏见的问题，并探讨了不同类型的 SSL 模型与所包含偏见的关系，同时认为在模型选择过程中可以减少社会偏见的数量，同时保持高性能。

Mar, 2022

本研究綜合研究了從預先訓練模型開始使用半監督學習方法，探討在不同條件下，如訓練策略，架構選擇和數據集等方面的表現，得出半監督學習技術對從預訓練模型開始訓練的模型的提升效果較使用隨機初始化的模型來的小，而當預訓練模型的源數據域與目標任務的數據域存在明顯差異時，SSL 方法的提升效果明顯提高的結果。

Dec, 2018

增加训练数据集的多样性可以提高自我监督学习的性能，但前提是下游数据的分布差异很小。即使通过网络爬虫或扩散生成的方法等方式实现了非常庞大的预训练数据多样性，分布的变化仍然是一个挑战。

Mar, 2024

建议使用伪标签从无标签数据中更新特征提取器，以解决预训练特征表示所带来的偏见，并通过实验证明该方法优于现有解决方案。

Sep, 2023

本文对自我监督学习的理论与实践中被忽视的问题进行了分析，阐述了数据增强、网络结构和训练算法对于预训练和下游任务泛化性能的影响，并为自我监督学习的从业者指出了一些有价值的见解。

Feb, 2023

本文提出改变自监督学习模型中主干神经网络的最后一个块的维度，是解决预训练偏差问题的一种简单有效的方法，并可以提高自监督预训练模型和有监督预训练模型的迁移学习性能。

Apr, 2023

通过在预训练基础模型中应用平衡的边界 Softmax 和解耦式标签平滑，FineSSL 提供了一种新的半监督学习方法，显著改善了现有方法的性能问题，并在多个基准数据集上达到了新的最先进水平，降低了训练成本超过六倍，可以无缝集成各种微调和现代半监督学习算法。

May, 2024