私有多任务学习：阐述和应用于联邦学习

Aug, 2021

私有多任务学习：阐述和应用于联邦学习

Private Multi-Task Learning: Formulation and Applications to Federated Learning

Shengyuan Hu, Zhiwei Steven Wu, Virginia Smith

TL;DR本研究中，我们通过联合差分隐私 (JDP) 对客户级隐私概念进行了形式化，提出了一种算法用于在联邦学习应用中常用的均值正则化多任务学习 (MTL)，并对其进行了分析，得到了隐私和效用方面的可证明保证。实证研究表明，相对于全局基线，我们的方法在常见的联邦学习基准测试中提供了更好的隐私 / 效用权衡。

Abstract

Many problems in machine learning rely on multi-task learning (MTL), in which the goal is to solve multiple related machine learning tasks simultaneously. MTL is particularly relevant for privacy-sensitive applications<

multi-task learning privacy-sensitive applications joint differential privacy mean-regularized mtl federated learning

发现论文，激发创造

混合分布下的联邦多任务学习

该研究提出了一种基于混合模型假设的联邦多任务学习方法，该方法可以在设备上学习个性化模型并实现客户端和服务端两种架构下的联邦 EM 算法的收敛，同时在联邦学习基准测试中获得了更高的准确性和公平性。

Aug, 2021

异步多任务学习

本文提出了一种分布式和异步优化的多任务学习框架，该框架能够有效地解决数据存储在不同地点时的挑战，同时能够提高多任务学习模型的泛化性能。实证研究表明本文提出的方法在合成和实际数据集上均表现出高效和有效的性能。

Sep, 2016

多任务学习调查

本文综述了多任务学习的算法建模、任务聚类及半监督学习、真实世界应用等方面，并探讨其理论分析和未来方向。

Jul, 2017

多任务学习可改善最差组结果

为了创建能为多样用户提供服务的机器学习系统，需要不仅实现高的平均性能，还要确保在不同群组中公平的结果。本文研究了多任务学习在最差群组准确性和群组公平性挑战中的潜力，并提出了通过对多任务表示空间进行正则化改进的方法。实验结果表明，我们的正则化多任务学习方法在最差和平均群组结果上都优于现有方法。

Dec, 2023

深度神经网络的多任务学习：一项调查

本篇综述介绍了多任务学习在深度神经网络中的方法，重点阐述了体系结构、优化方法和任务关系学习三个方面，并提供了常见的多任务基准的总结。

Sep, 2020

可控的帕累托多任务学习

本文提出了一种新颖的可控 Pareto 多任务学习框架，用于实现多个任务之间的实时权衡控制，其中超网络生成与偏好条件相关的模型参数，以实现基于不同权衡偏好的模型性能实时控制。

Oct, 2020

关于跨资源联邦学习中的隐私和个性化

本研究探讨了分布式学习中的隐私保护问题，在特定的跨场景环境下，提出了基于局部数据交叉学习的个性化学习框架，并给出了实验证明其在隐私保护和数据异质性之间的平衡效果。

Jun, 2022

RHFedMTL: 资源感知的分层联邦多任务学习

本文提出了一种可行的资源感知层次化联邦多任务学习 (RHFedMTL) 解决方案，通过解决基站内的不同任务并在不危及隐私的情况下在云中聚合多任务结果，以满足任务异构性，同时开发了一种面向本地终端和基站的资源感知学习策略以满足资源预算。

Jun, 2023

公平的多任务学习

本文提出了一种名为 EMTL 的新型多任务学习优化方法，通过正则化不同任务的相对贡献，在更新共享参数时改善了多任务学习的泛化性能，并通过扩展实验验证了该方法的稳定性和优越性。

Jun, 2023

密集预测任务的多任务学习：综述

本文综述了当前深度学习在计算机视觉中的多任务学习领域的最新研究进展，主要关注密集预测任务，从网络架构和优化方法两个角度进行了阐述和总结，旨在探讨多任务共享表示学习的优势和局限性。

Apr, 2020