本研究关注分布式多任务学习问题,提出了一种基于 debaised lasso 的通信高效估计方法,能够在高维空间中学习线性预测器,并与最佳集中式方法相媲美。
Oct, 2015
本文提出了一种基于参数服务器的分布式多任务学习框架,通过提供正则化多任务关系学习方法的对偶形式和一个通信有效的原始对偶分布式优化算法来同时学习每个任务的预测模型和任务之间的关系,以及提供针对分布式多任务关系学习的理论收敛分析。
Dec, 2016
本文提出了一种新的深度多任务表示学习框架,通过将矩阵分解技术泛化为张量分解,实现了深度网络中的端到端知识共享的自动学习,而不需要用户定义的多任务共享策略。实验证明了我们的深度多任务表示学习方法在提高准确性和减少设计选择方面的有效性。
May, 2016
我们研究了在多任务强化学习中共享表示的益处,以实现深度神经网络的有效使用。我们利用从不同任务中学习、分享共同特性的假设,有助于推广知识,从而比学习单个任务更有效地进行特征提取。通过在广泛使用的强化学习基准上进行实证评估,我们提出了三种强化学习算法的多任务扩展,并证明了在样本效率和性能方面相较于单任务具有显著改进。
Jan, 2024
本文提出了一种新的多任务学习的信息共享方案,通过注意力机制为所有任务共享相同的句子表示,使每个任务都能从中选择任务特定的信息,并在 16 个不同的文本分类任务上进行了实验,证明了该架构的优势。
Apr, 2018
本文是多任务学习的一篇综述,主要介绍了在分布式数据和网络系统上学习多个相关任务的新策略以及合作规则如何促进不同任务相关性模型,同时也解释了如何和何时合作的方式比非合作的策略更有效。
Jan, 2020
提出一种基于稀疏系数和低维子空间的多任务学习框架,能够选择性地在相关任务间共享信息,实验结果显示该方法优于竞争方法。
Jun, 2012
讨论了一般从多个任务中学习数据表示的方法,并在多任务学习和学习到学习的两种情况下对此方法进行了理论上的证明。我们通过线性特征学习的特例对方法进行详细说明,并建立起多任务表示学习在独立任务学习上的理论优势的条件,特别是针对重要的半空间学习的例子,我们推导出了多任务表示学习在独立任务学习上的优势随样本数量、任务数量和固有数据维度的函数关系,其他潜在应用包括在再现核希尔伯特空间和多层深度网络中进行多任务特征学习。
May, 2015
本文提出了一个新的联邦学习框架和算法,用于在客户之间学习共享的数据表示和每个客户的独特的本地头。我们的算法利用了跨客户的分布式计算能力,以便每次更新表示时进行许多针对低维本地参数的局部更新。我们证明该方法在线性设置中获得与地面实况表示的线性收敛,并获得接近最优样本复杂度,从而在每个客户端高效地降低问题维度。这个结果超出了联合学习,是一类希望在数据分布中学习共享的低维表示的问题的广泛兴趣,例如在元学习和多任务学习中。此外,广泛的实验结果显示了我们的方法在异构数据的联邦环境中相对于可选的个性化联邦学习方法的经验改进。
Feb, 2021
本文探讨了多任务强化学习中一种范例,即在一个固定的环境中进行一系列任务的学习,介绍了一种共享结构模型,在状态 - 动作值空间中联合学习优化价值函数,从而提高数据效率并获得更健壮、更具潜力的可传递表征。
Mar, 2016