通过标量化，加标准正则化和稳定技巧，我们可以在流行的监督和强化学习环境中，匹配甚至优于复杂多任务优化器的性能，我们认为这种结果需要对最近的多任务学习研究进行关键重新评估。

Jan, 2022

在多任务学习领域的研究中，线性标量化一直是文献中的默认选择。然而，近年来出现了将多任务学习视为多目标优化问题的专用多任务优化器（SMTOs）的兴趣激增，因此是否有 SMTOs 相对于标量化算法的基本优势还是个开放的问题。本文从理论角度重新审视标量化，研究线性多任务学习模型是否能完全探索帕累托前沿，并发现无法实现全面探索，特别是那些在多个任务之间取得平衡权衡的帕累托最优解。实验证实了我们的理论发现，并揭示了 SMTOs 在寻求平衡解决方案方面的潜力。

Aug, 2023

本研究提出了利用深度神经网络的多源域泛化技术，通过引入特定于各个领域的优化归一化层。在每个域中，根据多个归一化统计的加权平均值对激活值进行归一化处理。并且在实现中使用批和实例归一化，以确定这两种归一化方法的最佳组合，优化学习模型的通用性。本方法在标准域泛化基准测试中展示了当前最高的准确率，同时适用于诸如多源领域适应和带有标签噪声的域泛化等进一步的任务。

Jul, 2019

本文提出了一种增量学习方法，基于 Tucker 分解来跨领域学习和任务学习，不会产生灾难性遗忘，此方法在 Visual Decathlon Challenge 的 10 个数据集上展现出了紧凑表示的效果和与其他方法相当的性能。

Apr, 2019

本文研究的问题是如何在多个领域中通过使用共享参数实现联合培训的同时，利用领域特定和任务特定的模型参数来改进知识学习和转移的提取方法，并在 5 个领域进行了实验证明。结果表明，该模型对于多领域语言理解问题更为有效，并且在适应数据较少的新领域时具有更好的性能。

Apr, 2020

提出一种新的异构多任务度量学习框架（HMTML），利用多个不同子领域数据学习跨域度量，并在共同子空间中最大化预测结构的高阶协方差，进而有效地探索高阶信息，验证实验表明其方法具有更可靠的特征转换和度量。

Apr, 2019

通过使用因式分解张量网络（FTN）的方法，可以在几个参数增加的情况下，实现与独立单任务 / 领域网络相媲美的准确性。FTN 利用源模型中的冻结骨干网络，并逐步添加任务 / 领域特定的低秩张量因子到共享的冻结网络，从而能够适应大量的目标领域和任务，而不会发生灾难性遗忘。此外，与现有方法相比，FTN 所需的任务特定参数数量显著较少。

Oct, 2023

本篇论文提出一种利用领域转换网络、知识蒸馏和对抗学习等方法，解决多领域翻译中通用和特定知识的统一建模问题，并在多种语言对上得到了比 fine-tuning 方法更为优秀的结果。

Nov, 2019

该研究提出一种基于批标准化和集成模型的域泛化方法，以在不同和未知的领域中提高机器学习模型的鲁棒性和分类准确性。

Nov, 2020

本研究研究了多域学习中的迁移学习，提出了新的度量标准，建立了实验协议，并研究了网络容量、任务分组和动态损失加权在减少干扰和促进知识迁移方面的作用。

Jul, 2021