通过研究辅助任务的学习，我们发现其对特征共享和任务特定特征的稀疏性进行了激励，同时提出了一种修改了预训练和微调方法以提高性能的技术。
Oct, 2023
本文通过深入地实证研究多个数据集，比较了在 few-shot learning 背景下进行微调的预训练模型和标准元学习算法，研究结果表明，预训练模型在数据集形式多样性较低时表现优秀，而当形式多样性较高时，元学习算法表现更优。
Jun, 2023
本文提出了一种名为 Meta Fine-Tuning (MFT) 的有效学习过程，该过程可作为元学习器解决多个相似的自然语言处理任务，以获取高度可转移的知识，并通过优化一系列新颖的领域破坏损失函数来鼓励语言模型对领域不变表示进行编码。实验证明，MFT 对于小样本学习具有很大的用途。
Mar, 2020
使用启发式元算法优化预训练权重可改善机器学习分类任务的结果。
Dec, 2022
本文研究了以元学习为基础的个性化联邦学习在无线环境中的泛化性能，通过研究信道受损对泛化和收敛之间的权衡关系，通过大量的数值实验证实了该理论。
Jun, 2024
本文提出了 MetaPT，一种基于元学习的预训练方法来对话题进行自适应，并在 7 个下游任务中展示了比现有方法更好的性能和稳定性。
May, 2022
本篇研究证明，考虑下游微调方法会提高轻量级微调技术的性能，通过使用 MAML 和优化元学习技术为轻量级微调方法进行预先训练，我们可以使受过训练的语言模型适合轻量级微调，从而在跨语言 NER 微调中获得高达 1.7 分的收益。
评估了 Parameter Efficient Fine-Tuning 方法在深度学习中的有效性，以减轻计算负担、提高训练速度和降低内存使用，从而推动深度学习的更广泛应用和模型优化的创新。
Apr, 2024
本文研究使用 meta - 强化学习方法来完成多个视觉基准测试，在评估这些方法时，我们发现在不同的任务上，多任务预训练加微调的性能相当甚至更好，这与使用 meta-pretraining 和 meta test-time adaptation 的表现相当。因此我们建议在未来的 meta-RL 中加入更具挑战性的任务以及多任务预训练和微调作为更简单，强大的基线。
Jun, 2022
本文研究了元提示调整（meta prompt tuning）来探索元学习如何通过学习从其他相关任务中初始化提示嵌入来帮助改善 PT 中的跨任务推广。我们在广泛的适应设置中经验性地分析了代表性的元学习算法，并从任务相似性的角度提供了深入的分析。实验结果表明，MPT 的改进在分类任务中显著。
Feb, 2023