关于自监督学习的预训练数据多样性

Mar, 2024

关于自监督学习的预训练数据多样性

On Pretraining Data Diversity for Self-Supervised Learning

Hasan Abed Al Kader Hammoud, Tuhin Das, Fabio Pizzati, Philip Torr, Adel Bibi...

TL;DR增加训练数据集的多样性可以提高自我监督学习的性能，但前提是下游数据的分布差异很小。即使通过网络爬虫或扩散生成的方法等方式实现了非常庞大的预训练数据多样性，分布的变化仍然是一个挑战。

Abstract

We explore the impact of training with more diverse datasets, characterized by the number of unique samples, on the performance of self-supervised learning (SSL) under a fixed computational budget. Our findings c

diverse datasets self-supervised learning pretraining data diversity distribution shift large-scale datasets

发现论文，激发创造

利用自监督学习提升模型公平性

自我监督学习对模型的公平性具有显著影响，通过引入公平性评估框架，该研究系统地比较了数百个自我监督和精调模型在性能和公平性方面的差异，并证明了自我监督学习可以在最小损失性能的情况下显著提高模型的公平性。

Jun, 2024

监督预训练中类内 / 类间差异的权衡

研究了监督式预训练数据集中类内和类间多样性的权衡对模型性能的影响，并理论上证明了性能单调取决于多样性，实验应用推断出预训练数据集最佳类别 - 样本比率对模型下游任务最有效，以 ImageNet 为例，该方法模型效果提升了约 2 个点。

May, 2023

评估自监督和监督模型在顺序数据中的公平性

自监督学习对公平性和性能的影响进行了研究，结果表明通过自我监督学习，性能可与有监督方法相媲美，同时可以极大提高公平性，尤其适用于高风险、数据稀缺的应用领域，如医疗保健。

Jan, 2024

低数据条件下的自监督视觉学习：一项比较评估

在相对有限 / 受约束的数据集中，通过比较实验评估了现代视觉自监督学习方法的有效性，发现针对特定领域的下游任务，在领域内的低数据量自监督预训练优于在通用数据集上进行大规模预训练，为该领域中各类自监督学习方法的性能提供了有价值的见解，并提出了直接的未来研究方向。

Apr, 2024

自监督学习对数据集失衡更具鲁棒性

本文通过广泛的实验和理论分析，系统研究了在数据集不平衡的情况下自监督学习的表现，并通过半合成实验验证了 SSL 学习了与标签无关但可转移的特征，进而提出了一种新的加权正则化技术，显著提高了 SSL 表示的质量。

Oct, 2021

自监督预训练在流数据中的表现如何？

本文探讨了流式自监督预训练在序列学习下的效果，使用对 ImageNet 和 DomainNet 的四个类别的数据进行预训练，表明流式自监督预训练是联合预训练的有效替代方案，并解决了序列监督学习中常见的灾难性遗忘问题，实现了在实践中更广泛的应用场景。

Apr, 2021

扩展或缩小表示，控制预训练偏差轻松实现高效迁移学习技术

本文提出改变自监督学习模型中主干神经网络的最后一个块的维度，是解决预训练偏差问题的一种简单有效的方法，并可以提高自监督预训练模型和有监督预训练模型的迁移学习性能。

Apr, 2023

关于预训练数据多样性与微调鲁棒性的关联

预训练对深度学习中的模型性能具有广泛应用，我们的工作旨在理解该训练策略对下游模型的泛化特性的影响。我们发现，影响下游有效鲁棒性的主要因素是数据数量，而其他因素的影响有限。

Jul, 2023

增强方法与算法：自监督学习中的有效途径

我们研究了自监督学习中数据增强、预训练算法和模型架构的相对效果。通过比较多个著名的自监督学习方法，我们发现增强技术对性能的改进更为显著，而许多算法改进只有微小的影响。我们的发现挑战了自监督学习主要由算法改进主导的预设，并指出多样的增强方法以及数据和模型规模是自监督学习近期进展的更为关键的因素。

Mar, 2024

分析影响基于自监督预训练表示在语音识别中的有效性因素

本文研究了在低资源环境下建立自动语音识别（ASR）系统的方法，发现自我监督学习预训练数据的相似性和数量对系统性能有显著影响，希望为语音领域改进 SSL-based 预训练模型的泛化性能提供指导。

Mar, 2022