评估自监督和监督模型在顺序数据中的公平性

AAAIJan, 2024

Evaluating Fairness in Self-supervised and Supervised Models for Sequential Data

Sofia Yfantidou, Dimitris Spathis, Marios Constantinides, Athena Vakali, Daniele Quercia...

TL;DR自监督学习对公平性和性能的影响进行了研究，结果表明通过自我监督学习，性能可与有监督方法相媲美，同时可以极大提高公平性，尤其适用于高风险、数据稀缺的应用领域，如医疗保健。

Abstract

self-supervised learning (SSL) has become the de facto training paradigm of large models where pre-training is followed by supervised fine-tuning

发现论文，激发创造

自我监督学习对模型的公平性具有显著影响，通过引入公平性评估框架，该研究系统地比较了数百个自我监督和精调模型在性能和公平性方面的差异，并证明了自我监督学习可以在最小损失性能的情况下显著提高模型的公平性。

Jun, 2024

本文通过广泛的实验和理论分析，系统研究了在数据集不平衡的情况下自监督学习的表现，并通过半合成实验验证了 SSL 学习了与标签无关但可转移的特征，进而提出了一种新的加权正则化技术，显著提高了 SSL 表示的质量。

Oct, 2021

本文研究 Self-Supervised Learning (SSL) 方法在使用 ImageNet 数据集进行训练时是否存在社会偏见的问题，并探讨了不同类型的 SSL 模型与所包含偏见的关系，同时认为在模型选择过程中可以减少社会偏见的数量，同时保持高性能。

Mar, 2022

本文研究了在利用半监督学习算法时，不同子集人群的性能变化问题，发现使用半监督学习算法时，更强的基准组比更弱的基准组更容易受益，而对于性能原本就比较低的基准组，可能还会观察到性能下降，进而提出了两个新的评估指标。

Oct, 2021

本研究綜合研究了從預先訓練模型開始使用半監督學習方法，探討在不同條件下，如訓練策略，架構選擇和數據集等方面的表現，得出半監督學習技術對從預訓練模型開始訓練的模型的提升效果較使用隨機初始化的模型來的小，而當預訓練模型的源數據域與目標任務的數據域存在明顯差異時，SSL 方法的提升效果明顯提高的結果。

Dec, 2018

本文对自我监督学习的理论与实践中被忽视的问题进行了分析，阐述了数据增强、网络结构和训练算法对于预训练和下游任务泛化性能的影响，并为自我监督学习的从业者指出了一些有价值的见解。

Feb, 2023

通过在预训练基础模型中应用平衡的边界 Softmax 和解耦式标签平滑，FineSSL 提供了一种新的半监督学习方法，显著改善了现有方法的性能问题，并在多个基准数据集上达到了新的最先进水平，降低了训练成本超过六倍，可以无缝集成各种微调和现代半监督学习算法。

May, 2024

在相对有限 / 受约束的数据集中，通过比较实验评估了现代视觉自监督学习方法的有效性，发现针对特定领域的下游任务，在领域内的低数据量自监督预训练优于在通用数据集上进行大规模预训练，为该领域中各类自监督学习方法的性能提供了有价值的见解，并提出了直接的未来研究方向。

Apr, 2024

建议使用伪标签从无标签数据中更新特征提取器，以解决预训练特征表示所带来的偏见，并通过实验证明该方法优于现有解决方案。

Sep, 2023

本文深入分析了自监督学习的机制以及其对表示学习的影响，揭示了自监督学习在样本聚类方面的潜在驱动作用，同时证实了该方法所训练的表示与语义类别之间存在着密切的对齐关系，并且这种对齐关系随着训练和网络深度的加深而不断增强，这对于提高自监督学习方法的性能和效果具有重要的理论和实际意义。

May, 2023