多任务学习可改善最差组结果

Dec, 2023

Multitask Learning Can Improve Worst-Group Outcomes

Atharva Kulkarni, Lucio Dery, Amrith Setlur, Aditi Raghunathan, Ameet Talwalkar...

TL;DR为了创建能为多样用户提供服务的机器学习系统，需要不仅实现高的平均性能，还要确保在不同群组中公平的结果。本文研究了多任务学习在最差群组准确性和群组公平性挑战中的潜力，并提出了通过对多任务表示空间进行正则化改进的方法。实验结果表明，我们的正则化多任务学习方法在最差和平均群组结果上都优于现有方法。

Abstract

In order to create machine learning systems that serve a variety of users well, it is vital to not only achieve high average performance but also ensure equitable outcomes across diverse groups. However, most mac

machine learning systems equitable outcomes multitask learning group-wise fairness regularized mtl approach

发现论文，激发创造

公平的多任务学习

本文提出了一种名为 EMTL 的新型多任务学习优化方法，通过正则化不同任务的相对贡献，在更新共享参数时改善了多任务学习的泛化性能，并通过扩展实验验证了该方法的稳定性和优越性。

Jun, 2023

异步多任务学习

本文提出了一种分布式和异步优化的多任务学习框架，该框架能够有效地解决数据存储在不同地点时的挑战，同时能够提高多任务学习模型的泛化性能。实证研究表明本文提出的方法在合成和实际数据集上均表现出高效和有效的性能。

Sep, 2016

利用指数移动平均损失加权策略，减轻多任务学习中的负面转移

本文介绍了多任务学习中的负迁移问题，提出了一种通过指数移动平均进行损失平衡的技术，以达到深度学习模型的高效训练，实现了与当前最佳方法相媲美的效果。

Nov, 2022

复杂视觉系统上的多任务学习鲁棒性分析

多任务学习中的问题和挑战，包括优化算法的评估，梯度级别的比较，梯度角度和相对梯度范数的局限性，以及基于特征提取器的潜在空间和特征解缠的训练监测结果。

Feb, 2024

面向多任务学习的原则性任务分组

本研究提出一种新方法来进行多任务学习中的任务分组，弥补了现有方法的关键理论和实践限制。与以前的研究不同，我们的方法提供了一个更具理论基础的方法，不依赖于构建转移增益的限制性假设。同时，我们还提出了一种灵活的数学规划方法，可以适应广泛的资源约束，从而增强了其多样性。在计算机视觉数据集、组合优化基准和时间序列任务等多个领域的实验结果表明，我们的方法优于广泛的基线方法，验证了其在多任务学习中的有效性和普适性。

Feb, 2024

视觉场景理解的多任务学习

研究多任务学习在计算机视觉中的应用，通过综述现有方法，提出几种方法处理多任务学习中的重要问题，并在各种基准测试中进行评估，进一步提升了多任务学习的状态。

Mar, 2022

多任务学习调查

本文综述了多任务学习的算法建模、任务聚类及半监督学习、真实世界应用等方面，并探讨其理论分析和未来方向。

Jul, 2017

多任务学习中的分布匹配：在人脸及其他任务上的大规模研究

挑战现有多任务学习 (MTL) 框架，提出新方法通过分布匹配实现任务间的知识交流，证明少量注释或非重叠注释情况下的 MTL 仍能成功，且在各个领域的案例研究中均带来了较大的性能提升。

Jan, 2024

私有多任务学习：阐述和应用于联邦学习

本研究中，我们通过联合差分隐私 (JDP) 对客户级隐私概念进行了形式化，提出了一种算法用于在联邦学习应用中常用的均值正则化多任务学习 (MTL)，并对其进行了分析，得到了隐私和效用方面的可证明保证。实证研究表明，相对于全局基线，我们的方法在常见的联邦学习基准测试中提供了更好的隐私 / 效用权衡。

Aug, 2021

深度神经网络的多任务学习：一项调查

本篇综述介绍了多任务学习在深度神经网络中的方法，重点阐述了体系结构、优化方法和任务关系学习三个方面，并提供了常见的多任务基准的总结。

Sep, 2020