多任务大模型设备调优
采用预训练深度神经网络层作为基块构建多任务学习系统，通过动态选择相关的先验知识、模型参数和超参数进行自动调优，控制模型规模实现高质量模型与较小的规模之间的权衡，并在 10 个多样化的图像分类任务中，相对于标准调优，提高了平均精度 2.39％而使用了每个任务 47％ 以上的参数。
May, 2022
本文通过提出一个新的对设备模型泛化的框架 DUET, 实现了不增加计算成本的 DMG 的改善，通过在强大的云服务器上部署，从而在不进行微调前提下，通过设备特定参数生成直接映射数据分布和参数。
Sep, 2022
本文调查了最近的大量工作，提供现有工作和模型的系统性和全面性概述，将最近的视觉微调技术分为五组：提示微调，适配器微调，参数微调和重新映射微调，并提供前瞻性预训练和视觉微调中的各种交互的激动人心的研究方向。
May, 2023
MIET（极简交互边缘调优）通过使用轻量级的基于注意力机制的适配器网络，利用预训练模型的中间特征的加和实现了信息传递效率、参数效率、计算和内存效率，同时在各种视觉适应测试中展示出有竞争力的结果。
Jun, 2024
本文提出了预细调（pre-finetuning）的方法，是在语言模型预训练和微调之间增加一个大规模学习阶段，旨在促进学习出更好地适用于许多不同任务的表示。通过大规模的多任务学习，预细调在广泛的任务中显著提高了预训练鉴别器和生成模型的性能，并显著提高了微调的样本效率。
Jan, 2021
该研究提出一种名为任务引导分离微调的方法，通过从预训练的语言模型中分离特定任务的信号来增强表示的泛化能力，实验结果表明，该方法在自然语言处理方面表现出更好的效果。
Mar, 2022
本文提出 Bi-tuning，一种细调深度学习模型的新方法，能同时利用监督和无监督预训练，并综合使用有标签数据的判别信息和无标签数据的数据结构，相较于现有策略，在精度上有了长足的提升。
Nov, 2020
本研究探讨了一种新的用于 fine-tuning 神经网络的方法，称为子集 fine-tuning，即只对部分层进行精细调整并锁定其余权重，该方法可以在不增加计算成本的情况下实现多任务的学习和推理，并在数据稀缺的情况下实现与完全 fine-tuning 模型相当甚至更好的性能。
Feb, 2023
本研究针对推荐系统中的 CTR 预测任务，研究了如何在移动设备上有效地进行本地微调，提出了一种新的标签修正方法，并通过离线评估和在线 A/B 测试证明了它的必要性和优越性。
Oct, 2022