组合微调：冻结预训练去噪自编码器以提高泛化性能
运用一种新的理论框架，研究无监督预训练对细调模型泛化能力的影响，并通过分析两个具体场景的泛化上限，提出了一种新的预训练正则化方法，从而促进了细调模型的泛化能力。
Mar, 2024
本文探讨了自监督学习在人类活动识别领域解决标记数据不足的问题，通过学习预测任务，可以得到有用的表示用于分类，并发现不冻结表示可以在预测任务中实现显著性能提升并且效果与标记数据量成反比。
Jul, 2023
通过采用遗传进化培育的对抗微调方法（Gen-AF），本文提出了一种两阶段的对抗微调方法，旨在增强下游模型的鲁棒性，实验证明该方法在十种自监督训练方法和六个数据集上对最先进的对抗示例具有高测试准确性和鲁棒测试准确性。
Mar, 2024
本文提出 Bi-tuning，一种细调深度学习模型的新方法，能同时利用监督和无监督预训练，并综合使用有标签数据的判别信息和无标签数据的数据结构，相较于现有策略，在精度上有了长足的提升。
Nov, 2020
使用大型预训练 Transformer 模型进行迁移学习任务已经成为自然语言处理（NLP）领域的主要趋势之一，本论文提出了一种三阶段技术来调整基础模型以适应分类任务。
May, 2024
在这项研究中，我们的目标是找到一种适用于带有噪声标签数据集的预训练模型微调的合适方法。通过经验分析，我们引入了一种名为 TURN 的新算法，其能够稳健且高效地传递预训练模型的先验知识。该算法包括两个主要步骤：（1）独立调整线性分类器来保护特征提取器免受噪声标签的扭曲影响，以及（2）减少噪声标签比例并基于降噪后的数据集对整个模型进行微调以适应目标数据集。与先前方法相比，该算法在各种基准测试中广泛测试，表现出高效且改进的降噪性能。
Oct, 2023
该研究通过分层预训练表示的实验研究发现了不同层数与源代码信息的关系，从而提出了 Telly 技术，通过层冻结来有效地微调预训练代码模型，从而降低了学习参数和时间成本。
Apr, 2023
基于已训练好的基础模型进行微调在新的下游任务中得到广泛应用，但是存在着泛化到未见分布（即超过分布；OOD）的挑战。为了改善 OOD 的泛化能力，本文提出了一种新的通用微调方法 LEVI，在保留训练和推断效率的同时，通过自适应地对预训练模型进行逐层集成和与小型任务专属模型相结合，有效地抑制了微调数据和预训练模型中的问题特征，保留了新任务所需的有用特征。通过大规模语言和视觉模型进行的广泛实验表明，LEVI 通过强调来自微调数据和预训练特征的不同视角，极大地提高了微调的泛化能力。
Feb, 2024