最小数据学习的辅助任务重新加权
本文介绍了一种基于表示学习思想的强化学习辅助任务发现方法，通过不断生成新的辅助任务并保留具有较高效用性的任务来提高数据效率，并引入了一种反映辅助任务效用的衡量标准。实现的算法在多种环境下显著优于随机任务和手动设计的任务。
Oct, 2022
本文提出了一种基于隐式微分的新框架 AuxiLearn，针对多任务学习中设计有用的辅助任务和将辅助任务组合成一个连贯的损失函数的挑战，当已知有用的辅助任务时，可以学习一个网络将所有损失合并成一个连贯的目标函数，并且能够学习任务之间的非线性交互；当不知道有用的辅助任务时，可以学习一个生成有意义的新辅助任务的网络。在图像分割和低数据情况下学习属性等多个任务和领域中，AuxiLearn 均表现出比竞争方法更为出色的性能。
Jun, 2020
提出了一种名为 SLGrad 的样本级别加权算法，通过样本特定的任务权重，改变训练过程中的任务分布，以消除有害的辅助信号并增强有用的任务信号，从而提高神经网络的泛化性能。
Jun, 2023
该研究提出了一种自动学习辅助标签的新方法，通过训练标签生成网络和多任务网络来改善任何监督学习任务的泛化能力，并展示了 Meta AuXiliary Learning (MAXL) 方法自监督的优势，该方法不需要额外数据就能在 7 个图像数据集上胜过单任务学习，并在自动生成的辅助标签方面超越其他基线。
Jan, 2019
为使辅助任务更新适应主任务，我们提出了一种模型无关的框架，通过对辅助更新进行分解和加权，使得这些更新可以帮助、损害或保持主任务损失不变，在处理文本和图像分类任务中，该方法与强基线方法相比表现更优。
Aug, 2021
多任务学习中，我们提出了一种名为 α- 可变重要性学习（αVIL）的新方法，该方法能够在模型训练过程中动态地调整任务权重，通过直接使用训练周期之间底层模型参数的任务特定更新，以在各种情境中超越其他多任务学习方法。据我们所知，这是首次尝试直接利用模型更新来估计任务权重。
May, 2024
在深度学习中，利用辅助目标来促进学习在数据稀缺或主要任务极其复杂的情况下经常被使用。本文提出了一种名为 Detaux 的新颖框架，通过弱监督的解缠过程来发现可以与主要任务一起利用的新的无关分类任务和相关标签，从而解决了这一关键问题。在合成和真实数据上进行了广泛验证，并进行了各种消融研究，证明了解缠表示与多任务学习之间迄今未被探索的潜在联系的潜力。
Oct, 2023
本文探讨了如何将自监督任务应用于有监督学习，在此基础上提出了一种针对有监督学习的自监督任务 —— 预测可定位的旋转（LoRot），并通过实验证明其可应用于高鲁棒性和泛化能力。
Jul, 2022