通过自我监督辅助学习实现多任务学习的表示学习
提出了一种正则化公式，用于在多任务学习中学习任务之间的关系，可以对正相关、负相关和异常任务进行建模，在对称和非对称多任务学习设置下，使用交替优化算法， 对模型参数和任务之间的关系进行优化。实验结果表明这种方法的有效性。
Mar, 2012
讨论了一般从多个任务中学习数据表示的方法，并在多任务学习和学习到学习的两种情况下对此方法进行了理论上的证明。我们通过线性特征学习的特例对方法进行详细说明，并建立起多任务表示学习在独立任务学习上的理论优势的条件，特别是针对重要的半空间学习的例子，我们推导出了多任务表示学习在独立任务学习上的优势随样本数量、任务数量和固有数据维度的函数关系，其他潜在应用包括在再现核希尔伯特空间和多层深度网络中进行多任务特征学习。
May, 2015
本文提出了一种新的深度多任务表示学习框架，通过将矩阵分解技术泛化为张量分解，实现了深度网络中的端到端知识共享的自动学习，而不需要用户定义的多任务共享策略。实验证明了我们的深度多任务表示学习方法在提高准确性和减少设计选择方面的有效性。
May, 2016
该研究提出了一种框架，通过联合利用来自具有足够多类别的大型辅助任务和这些任务之间共享的信息，来学习在训练样本有限、标签集仅部分重叠或甚至没有的多任务。其关键思想是利用可用的标签信息，自适应地修剪辅助网络的隐藏层神经元，构建每个任务的相应网络，并伴随着个别任务的联合学习。实验结果表明，该方法比最先进的方法更加有效。
Jan, 2022
该论文提出了一种新的多任务学习框架，通过补充现有的浅层和深度多任务学习场景的优势，联合学习潜在特征和显式任务关系。同时，通过新的正则化器显式地学习任务关系。理论分析表明，该方法降低了泛化误差，实验表明该方法是有效的、高效的并且合理的。
Jul, 2022
本文提出了一个利用任务间关系先验知识、通过对共享特征赋予类似系数惩罚、以及通过组稀疏方法捕获公共特征的多任务学习框架，将其定义为一个非光滑凸优化问题，在真实世界数据集的回归和分类任务上实验证明该算法可以提高多个相关任务的泛化性能。
Jan, 2023
多任务学习中，我们提出了一种名为JTR的技术，通过利用任务之间的关联性，在单个联合任务的潜在空间中同时调整所有任务的参数，以提升在数据不完全标记的情况下的学习效果。我们在基于NYU-v2、Cityscapes和Taskonomy的各种部分标记场景中对我们的方法进行了广泛的基准测试来验证其有效性。
Apr, 2024
该论文提出了一种具有共享信息的通用可解释性预测系统，该系统能够在不同的多任务设置中进行预测，其中各个任务不一定具有相同的输入/输出结构。通过在一个共同的空间中获取输入和输出变量的嵌入，通过参考一组共享的嵌入来生成输入嵌入，这些嵌入在任务之间被重复使用。所有的嵌入都被视为模型参数并进行学习。论文通过对共享嵌入空间和注意机制的稀疏性进行具体的限制。实验证明，引入共享嵌入并不会损害从基本变量嵌入方法中得到的结果。进一步进行了一系列的剔除分析。在注意机制中引入稀疏性既提高了准确性，又显著减少了所需的训练步骤的数量。共享嵌入在定性评估和将特定共享嵌入映射到预定义概念方面提供了可解释性的度量，而这些概念不是针对所考虑的模型设计的。准确性和可解释性之间存在一种权衡。基本的共享嵌入方法注重可解释性，而稀疏注意方法则提倡准确性。研究结果表明，可将变量嵌入方法扩展为共享信息方法，以提供更高的可解释性和准确性。
May, 2024