关于预训练数据多样性与微调鲁棒性的关联
该研究旨在界定预训练在处理数据分布偏移时可以解决的失败模式，发现预训练可以缓解数据外推问题，但对数据集偏见无效；研究结果指出，预训练和干扰同时使用可以增加模型的鲁棒性，也发现在小规模、非多样但去除偏见的数据集上进行微调可以得到比在大规模和多样但有偏见的数据集上进行微调更加鲁棒的模型。
Feb, 2024
我们提出了一种用于预训练可认证的强健模型的方法，通过显著扩展预训练数据分布，在下游任务的微调中取得显著效益。我们通过对混合干净图像和各种噪声图像进行预训练，发现即使仅在干净图像上进行微调，也能取得惊人的认证准确率。此外，我们的方法仅需一个模型，即可处理各种噪声水平，大大降低了与以往使用多个模型的方法相比的计算成本。尽管仅使用一个模型，我们的方法仍可以得出与现有的多模型方法相当甚至更好的结果。
Dec, 2023
在机器学习中，预训练模型对于下游任务的使用已经成为一种标准方法，虽然其实证明了效果提升，但是预训练模型的鲁棒性如何传递到下游任务中还未被充分理解。我们证明了预测器的鲁棒性可以通过其基础表示的鲁棒性来界定，与预训练协议无关。综上所述，我们的结果明确了可靠性表现在部署时所需要的表示函数的要求。
Aug, 2022
研究了监督式预训练数据集中类内和类间多样性的权衡对模型性能的影响，并理论上证明了性能单调取决于多样性，实验应用推断出预训练数据集最佳类别 - 样本比率对模型下游任务最有效，以 ImageNet 为例，该方法模型效果提升了约 2 个点。
May, 2023
通过大规模数据集的预训练和下游任务的微调已经成为深度学习中的标准实践。然而，预训练数据通常包含可能对模型的泛化产生不利影响的标签噪声。本文旨在理解预训练数据中噪声的特性，并减轻其对下游任务的影响。我们通过对合成噪声的 ImageNet-1K 和 YFCC15M 数据集进行有监督预训练模型的大量实验，证明了轻微噪声预训练可以在域内传输性能上有益，但总是会对域外性能造成恶化。我们通过实证验证了噪声对预训练的特征空间造成不同的影响。然后，我们提出了一种轻量级的黑盒调节方法（NMTune），来对齐特征空间，减轻噪声的恶性效应，并改善在域内和域外任务上的泛化能力，考虑到可能无法完全微调甚至访问预训练模型。我们对经过噪声数据预训练的热门视觉和语言模型进行了实证实验以评估我们的方法。我们的分析和结果显示出这个有趣而新颖的研究方向的重要性，我们称之为噪声模型学习。
Sep, 2023
增加训练数据集的多样性可以提高自我监督学习的性能，但前提是下游数据的分布差异很小。即使通过网络爬虫或扩散生成的方法等方式实现了非常庞大的预训练数据多样性，分布的变化仍然是一个挑战。
Mar, 2024
对现代深度卷积网络（CNN）未能在分布漂移下推广的问题进行了研究，并探究了预备数据量、模型规模和数据处理流程对迁移性能的影响，发现增加训练集和模型大小显著提高了分布偏移鲁棒性，同时是非常简单的预处理，如修改图像分辨率在某些情况下可以显著缓解鲁棒性问题。最后，我们提出了一个新的综合数据集 SI-Score 进行了系统的分析。
Jul, 2020
本文研究了深度学习中预训练对模型鲁棒性和不确定性预测的影响，并通过对对抗性环境、标签结构、类分布、数据分布等进行大量实验，展示了其中很大的性能提升。同时，提出了对抗性预训练方法，实现了不错的性能提升。
Jan, 2019