协同下降的分布式多任务微调
通过将数据和计算过程分布在本地客户端和共享服务器上，CollaFuse 框架在保持数据私密性的同时，提供高效和协作的 denoising diffusion probabilistic models 的训练和推断，解决了分布式机器学习中的计算压力和隐私保护的挑战。
Feb, 2024
本文研究了 Deep Learning 中在协作训练上的瓶颈，提出了一种适用于协作训练的新算法框架，并在实际条件下展示了该方法对 SwAV 和 ALBERT 的预训练效果，结果表明该方法的性能与传统设置相当，成本仅为传统设置的一小部分。最后，提供了一个由 40 名参与者组成的成功的协作语言模型预训练的详细报告。
Jun, 2021
该研究介绍了 Deep Fusion 的有效方法，利用预训练小型网络的初始化来加速训练过程，减少计算需求，提高自然语言处理任务的泛化性能。
Jun, 2023
采用预训练深度神经网络层作为基块构建多任务学习系统，通过动态选择相关的先验知识、模型参数和超参数进行自动调优，控制模型规模实现高质量模型与较小的规模之间的权衡，并在 10 个多样化的图像分类任务中，相对于标准调优，提高了平均精度 2.39％而使用了每个任务 47％ 以上的参数。
May, 2022
本文是多任务学习的一篇综述，主要介绍了在分布式数据和网络系统上学习多个相关任务的新策略以及合作规则如何促进不同任务相关性模型，同时也解释了如何和何时合作的方式比非合作的策略更有效。
Jan, 2020
通过整合多视角信息，将个性化和全局知识相结合的联邦学习方法 FedCT 具有优于最先进方法的效果，并能减轻模型对本地和全局视图的知识遗忘问题。
May, 2024
提出了一种基于矩阵分解、去除链路和 PyTorch 实现的高效边缘和云协同学习框架，能够在边缘设备上进行本地数据的微调，使得通信量比常规方法减少 96 倍，并且对模型精度影响小。
Nov, 2022
本文提出了预细调（pre-finetuning）的方法，是在语言模型预训练和微调之间增加一个大规模学习阶段，旨在促进学习出更好地适用于许多不同任务的表示。通过大规模的多任务学习，预细调在广泛的任务中显著提高了预训练鉴别器和生成模型的性能，并显著提高了微调的样本效率。
Jan, 2021