通过调整并对变化进行惩罚来减少预训练模型中的偏差

Apr, 2024

通过调整并对变化进行惩罚来减少预训练模型中的偏差

Reducing Bias in Pre-trained Models by Tuning while Penalizing Change

Niklas Penzel, Gideon Stein, Joachim Denzler

TL;DR基于改变惩罚的方法来减轻模型中的隐性偏见，需要很少的对立示例并结合提前停止准则以增加性能。

Abstract

deep models trained on large amounts of data often incorporate implicit biases present during training time. If later such a bias is discovered during inference or deployment, it is often necessary to acquire new data and retrain the model. This behavior is especially problematic in cr

deep models implicit biases change penalization biases mitigation early stopping criterion

发现论文，激发创造

在微调预训练模型中消除偏见以提升公平性和效率

通过引入一种有效且鲁棒的微调框架来解决在新任务上进行预训练模型微调可能导致不公平结果的问题，该框架中融合了权重重要性中和策略和矩阵因子分解技术，通过实验验证了其有效性。

Mar, 2024

通过集成学习和正则化微调解决偏差问题

通过多种方法解决 AI 模型中的偏见问题，使用较小的数据集和可能存在偏见的预训练模型，通过数据分割、局部训练和正则化微调训练多个模型，然后使用集成学习获得不带偏见的预测结果，最后通过知识蒸馏形成单一不带偏见的神经网络模型，实验证明了我们方法的有效性。

Feb, 2024

高效提升预训练模型的鲁棒性

使用知识转移方法，将较小模型的鲁棒性迁移到大规模网络中，提高大规模模型的性能和鲁棒性。

Sep, 2023

优化变化检测的视觉变换器

基于视觉变换模型的大多数变化检测模型目前遵循 “预训练然后微调” 的策略，但我们提出了一种高效的微调方法，通过冻结预训练图像编码器的参数并引入额外的训练参数，实现了与低资源消耗相比更具竞争力的结果，并且可扩展到语义变化检测和多时相变化检测的任何预训练模型，希望我们提出的方法能成为变化检测领域更统一的训练方法的基础模型之一。

Dec, 2023

神经网络微调的改进正则化和鲁棒性

通过 fine-tuning 算法的正则化与 self-labeling 方法相互插值，从而提高在小数据集下的图像与文本分类表现。

Nov, 2021

神经网络的末层公平微调简单有效

在现代数据科学中，机器学习已被广泛应用，算法公正性已成为一个重大关注点。研究者提出了各种公正性标准，可以通过训练时的公平性约束来实现公平性，新方法则利用预训练和微调来训练公平的神经网络。在两个流行的图像数据集上进行的实验表明，公平性微调足以提高深度神经网络的公平性。

Apr, 2023

卷积网络迁移学习的显式归纳偏置

本文研究在归纳迁移学习中，fine-tuning 方式相较于从头训练卷积神经网络具有更好的表现。为了提高 fine-tuned 模型在目标任务上的泛化性能，本文探究了多种正则化方法，最终推荐采用 $L^2$ 惩罚并将预训练模型作为基准的方法作为迁移学习任务的 baseline。

Feb, 2018

通过贝叶斯数据选择实现模型训练加速

使用轻量级贝叶斯处理和基于大规模预训练模型的即用型零样本预测器，解决了现实场景中标记错误、重复或有偏差的数据在训练中的问题，提高了模型的训练效率。

Aug, 2023

通过调整输入空间来使用预训练的骨干网络进行持续学习

本文提出了一种用于解决深度学习模型在不稳定环境下适应性差的问题的新方法，通过避免更新网络的预训练部分，同时学习一组新的可学习参数来改善细调过程的效果，以使网络在保证适应性和稳定性之间达到平衡，得到了不错的实验结果，适用于实时场景下的持续学习问题。

Jun, 2023

SpotTune: 自适应微调的迁移学习

本文提出了一种自适应微调方法 SpotTune，使用策略网络根据目标任务的数据实例来选择微调层或预训练层，实验证明该方法在计算机视觉中的迁移学习应用中优于传统的微调方法，并在 Visual Decathlon 数据集中表现优异。

Nov, 2018