本文提出了一种基于隐式微分的新框架 AuxiLearn,针对多任务学习中设计有用的辅助任务和将辅助任务组合成一个连贯的损失函数的挑战,当已知有用的辅助任务时,可以学习一个网络将所有损失合并成一个连贯的目标函数,并且能够学习任务之间的非线性交互;当不知道有用的辅助任务时,可以学习一个生成有意义的新辅助任务的网络。在图像分割和低数据情况下学习属性等多个任务和领域中,AuxiLearn 均表现出比竞争方法更为出色的性能。
Jun, 2020
本文主要介绍了一种名为 Auxiliary Learning 的机器学习方法,通过引入一个辅助类别来增加神经网络的通用性,同时强调了处理未知物体的必要性,并以猫狗二分类器为例进行阐述。
Nov, 2022
本文介绍了一种基于表示学习思想的强化学习辅助任务发现方法,通过不断生成新的辅助任务并保留具有较高效用性的任务来提高数据效率,并引入了一种反映辅助任务效用的衡量标准。实现的算法在多种环境下显著优于随机任务和手动设计的任务。
Oct, 2022
通过神经序列标记方法探究不同的辅助目标和训练策略在学习者写作错误检测中的实用性;实验结果表明,采用多目标联合学习和领域内平行标签可以提高模型性能,而不增加参数量。
Jul, 2017
该研究提出了一种自动学习辅助标签的新方法,通过训练标签生成网络和多任务网络来改善任何监督学习任务的泛化能力,并展示了 Meta AuXiliary Learning (MAXL) 方法自监督的优势,该方法不需要额外数据就能在 7 个图像数据集上胜过单任务学习,并在自动生成的辅助标签方面超越其他基线。
Jan, 2019
本文采用深度多任务学习方法,探究如何选择有用的辅助任务来提高模型性能和泛化能力。
Jul, 2020
本文提出了一种自动重新调整辅助任务权重的方法,以减少主任务所需的培训数据,并在多个实验设置下证明了算法的有效性,同时避免昂贵的网格搜索。
Oct, 2020
在深度学习中,利用辅助目标来促进学习在数据稀缺或主要任务极其复杂的情况下经常被使用。本文提出了一种名为 Detaux 的新颖框架,通过弱监督的解缠过程来发现可以与主要任务一起利用的新的无关分类任务和相关标签,从而解决了这一关键问题。在合成和真实数据上进行了广泛验证,并进行了各种消融研究,证明了解缠表示与多任务学习之间迄今未被探索的潜在联系的潜力。
Oct, 2023
通过生成和学习有用的辅助任务,最大化经验重用,从而学习解决给定任务的方法,通过计数推理和离线策略方法同时学习这些辅助任务,从而实现多任务强化学习的新框架。
Mar, 2023
为使辅助任务更新适应主任务,我们提出了一种模型无关的框架,通过对辅助更新进行分解和加权,使得这些更新可以帮助、损害或保持主任务损失不变,在处理文本和图像分类任务中,该方法与强基线方法相比表现更优。
Aug, 2021