本文提出了一种基于多任务预训练的表示学习的算法和理论框架，称之为主动表示学习，它通过从一组源任务中抽取数据来学习针对特定目标任务的最佳表示，同时兼容深度表示学习实践，旨在提高样本利用率。

Jun, 2023

传统的多任务学习方法存在训练样本稀缺问题，该研究首次提出了基于主动学习的多任务表示学习算法，通过 LASSO 程序来估计适用于未知情况下的 L1 - 正则化相关性方法，取得了良好的实验效果。

Jun, 2023

通过多任务表示学习的方式，我们将人类反馈强化学习 (RLHF) 问题建模为一种上下文二分问题，并假设存在一种共同线性表示。我们证明了考虑任务相关性，并为具有不同任务相关性的源任务分配不同样本数量可以降低多任务 RLHF 中的样本复杂度。此外，由于表示学习，目标任务的样本复杂度仅与潜在空间的维度成线性关系。

May, 2024

提出了一个高效的多任务学习框架，该框架采用主动学习原则来解决多个目标导向任务的问题，通过对 7 个多任务实例进行测试，实现了竞争性的多任务表现。

Feb, 2017

讨论了一般从多个任务中学习数据表示的方法，并在多任务学习和学习到学习的两种情况下对此方法进行了理论上的证明。我们通过线性特征学习的特例对方法进行详细说明，并建立起多任务表示学习在独立任务学习上的理论优势的条件，特别是针对重要的半空间学习的例子，我们推导出了多任务表示学习在独立任务学习上的优势随样本数量、任务数量和固有数据维度的函数关系，其他潜在应用包括在再现核希尔伯特空间和多层深度网络中进行多任务特征学习。

May, 2015

本文考虑多任务表示学习的框架，总结最近的研究进展，指出基于梯度和基于度量的算法在实践中的根本差异并通过新的基于光谱的正则项改进元学习方法进行实验，以实现 few-shot 分类任务。

Oct, 2020

本文提出一种创新的主动学习方法，利用自监督的预训练任务和独特的数据采样器，通过选择具有难度和代表性的数据来解决数据标注代价高的问题，并在各种图像分类和分割基准上取得了令人信服的性能。

Jan, 2022

通过多任务模仿学习的表征转移，可以比从零开始学习新任务更加高效地利用样本。本文提供了一个统计保证，表明在使用足够多样的源任务训练表征时，我们确实可以提高目标任务的样本利用效率。我们的理论结果可以轻松扩展到基于现实假设的常用神经网络结构。通过符合我们理论结果的实证分析，我们在四个模拟环境中得出结论：特别是更多地利用源任务的数据可以提高学习新任务的样本利用效率。

Nov, 2023

本研究探讨了强化学习中的表征传递问题，提出了一种基于预训练和生成访问的新方法，可以帮助在源任务中发现一个共享表征来快速收敛到一个接近最优策略的目标任务中。

May, 2022

本文提出一种通过代理模型解决多任务学习中子任务选择问题的方法，该方法使用线性回归模型预测未见过的子任务组合的性能表现，利用其提供的子任务与目标任务的相关性分数进行选择，可以更准确地预测负面转移，并显著提高现有多任务学习算法的性能。

Mar, 2023