本文提出了一种基于隐式微分的新框架 AuxiLearn，针对多任务学习中设计有用的辅助任务和将辅助任务组合成一个连贯的损失函数的挑战，当已知有用的辅助任务时，可以学习一个网络将所有损失合并成一个连贯的目标函数，并且能够学习任务之间的非线性交互；当不知道有用的辅助任务时，可以学习一个生成有意义的新辅助任务的网络。在图像分割和低数据情况下学习属性等多个任务和领域中，AuxiLearn 均表现出比竞争方法更为出色的性能。

Jun, 2020

在深度学习中，利用辅助目标来促进学习在数据稀缺或主要任务极其复杂的情况下经常被使用。本文提出了一种名为 Detaux 的新颖框架，通过弱监督的解缠过程来发现可以与主要任务一起利用的新的无关分类任务和相关标签，从而解决了这一关键问题。在合成和真实数据上进行了广泛验证，并进行了各种消融研究，证明了解缠表示与多任务学习之间迄今未被探索的潜在联系的潜力。

Oct, 2023

本文采用深度多任务学习方法，探究如何选择有用的辅助任务来提高模型性能和泛化能力。

Jul, 2020

本文提出了一种自动重新调整辅助任务权重的方法，以减少主任务所需的培训数据，并在多个实验设置下证明了算法的有效性，同时避免昂贵的网格搜索。

Oct, 2020

本文研究了在稀疏奖励环境中，如何通过分析时间差分算法的动态来建立转移算符的谱分解和各种辅助任务诱导的表示之间的联系，并利用这些理论结果来选择深度强化学习代理的辅助任务。

Feb, 2021

本文研究了在多任务学习框架下，辅助文本翻译任务对语音到文本翻译任务的影响及参数共享等解决方案，提出三种方法以提高翻译质量，实验结果表明该方法在几种语种翻译任务中相对于基线都达到了最新水平。

Jul, 2021

通过梯度分解的方式，实现一个新的连续学习方法，在保留之前任务特定知识的同时，促进共同知识整合，避免了梯度大小变化的影响并实现了当前领域最佳结果。

May, 2021

本文介绍了一种基于表示学习思想的强化学习辅助任务发现方法，通过不断生成新的辅助任务并保留具有较高效用性的任务来提高数据效率，并引入了一种反映辅助任务效用的衡量标准。实现的算法在多种环境下显著优于随机任务和手动设计的任务。

Oct, 2022

本文提出了一种新方法 ——MetaBalance，通过直接操纵多任务网络中共享参数的梯度来平衡辅助任务的损失，以解决多任务学习时存在的优化失衡问题，实验结果表明该方法在两个真实数据集上相对于最强基线提高了 8.34％的 NDCG @ 10。

Mar, 2022

本研究探讨了将中间表示作为深度网络低层的辅助监督的方法，将传统的 pipeline 方法与端到端的训练方法相结合，实验结果表明这种方法提高了对话语音识别的识别准确性。

Apr, 2017