多任务学习中公平性和准确性权衡的理解和改进

Jun, 2021

多任务学习中公平性和准确性权衡的理解和改进

Understanding and Improving Fairness-Accuracy Trade-offs in Multi-Task Learning

Yuyan Wang, Xuezhi Wang, Alex Beutel, Flavien Prost, Jilin Chen...

TL;DR本文讨论了多任务学习中组公平性对于准确性的影响，提出了一种新的测量多维 Pareto 前沿的公平性 - 准确性权衡的方法，并提出了一种多任务感知公平性（MTA-F）方法来改善多任务学习中的公平性。实验结果表明，该方法的有效性。

Abstract

As multi-task models gain popularity in a wider range of machine learning applications, it is becoming increasingly important for practitioners to understand the fairness implications associated with those models. Most existing fairness literature focuses on learning a single task more

multi-task learning group fairness fairness-accuracy trade-offs pareto frontier machine learning

发现论文，激发创造

学习如何教授考虑公平性的深度多任务学习

提出了一种基于 L2T-FMT 算法的教师 - 学生网络，这种方法可以在多任务学习的情况下灵活选择优化目标（准确性或公平性），并且在公正性（12-19%）和准确性（最多 2%）上显著提高了表现。

Jun, 2022

提升机器学习模型的公平性与性能：一种采用蒙特卡洛辍学和帕累托优化的多任务学习方法

本文考虑了机器学习中可推广的偏见缓解技术的需求，由于对公平性和歧视的担忧，这些技术在数据驱动的决策过程中得到了各个行业的应用。尽管许多现有的机器学习偏见缓解方法在特定情况下取得了成功，但它们常常缺乏可推广性，不能轻松地应用于不同的数据类型或模型。此外，准确性与公平性之间的权衡仍然是该领域的一种根本张力。为了解决这些问题，我们提出了一种基于多任务学习的偏见缓解方法，利用了多目标优化中的 Monte-Carlo dropout 和 Pareto 优势的概念。该方法在不使用敏感信息的情况下同时优化准确性和公平性，提高了模型的可解释性。我们在来自不同领域的三个数据集上测试了这种方法，并展示了它如何提供模型公平性和性能之间的最理想权衡。这使得我们能够在特定领域进行调优，其中一个指标可能比另一个更重要。通过我们在本文中介绍的框架，我们旨在增强公平性和性能之间的权衡，并为机器学习中偏见缓解方法的可推广性问题提供一个解决方案。

Apr, 2024

机器学习的准确性和公平性权衡：基于随机多目标方法的研究

本文介绍了一种新的处理公平性的方法，通过建立一个随机多目标优化问题，得到一组准确且平衡的 Pareto 前沿，以此权衡准确度和公平性，以更高效地处理大量的流数据。

Aug, 2020

利用多目标元模型优化机器学习中的公平性权衡

使用多目标优化的方法直接优化错误 - 公平性权衡，并提出了一个灵活的框架来定义权重分类问题和多个代价函数，以减少优化参数，同时在真实问题中获得了更好的错误 / 公平性权衡解决方案。

Apr, 2023

任意性超越公平 - 准确度前沿线

机器学习中的公平干预可能会加剧预测复杂性，而提出了一种可应用于任何公平干预的集成算法来解决挑战并确保更一致的预测。

Jun, 2023

多任务学习中的公平资源分配

通过公平资源分配的灵感，我们提出了一种新的多任务学习优化方法 FairGrad，通过最大化不同公平度量下任务间的损失减少来优化多任务学习，实现了理论上的收敛保证，并在监督学习中的各种多任务基准上取得了最先进的性能。

Feb, 2024

公平精确性平衡下的内在公平性 - 准确性权衡

机器学习在执法、刑事司法、金融、招聘和招生等领域的日益广泛应用，确保机器学习辅助决策的公平性变得越来越关键。本文以统计学的 “平等机会” 概念为基础，研究了公平性和准确性之间的折衷。我们提出了一个新的准确性上限（适用于任何分类器），并将其作为公平预算的函数。此外，我们的上限还与数据、标签和敏感群体属性的底层统计学关系密切相关。通过对三个真实世界数据集（COMPAS、成年人和法学院）进行经验分析，我们验证了我们理论上限的有效性。具体而言，我们将我们的上限与文献中各种现有公平分类器所实现的折衷情况进行了比较。我们的结果表明，在统计差异存在的情况下，实现高准确性条件下的低偏差可能从根本上受到限制。

May, 2024

FairBranch：在任务组分支上对公平多任务学习的公平冲突纠正

通过评估学习参数的相似性，将相关任务分组以减轻负迁移，并在这些任务组内纳入公平性损失梯度冲突校正，从而解决多任务学习中的负迁移和偏见传递问题。实验证明，FairBranch 在公平性和准确性方面优于最先进的多任务学习方法。

Oct, 2023

公平准确：学习仇恨言论检测中最佳准确性与公平性权衡

本文提出一种可微分度量方法来优化神经分类模型的团体公平性，继而展示了两个适用于不同组神经分类模型的 Pareto 最优化参数化的 MOO 框架，并在 Hate Speech Detection 任务上获得了优于先前方式的实证结果。

Apr, 2022

多任务学习可改善最差组结果

为了创建能为多样用户提供服务的机器学习系统，需要不仅实现高的平均性能，还要确保在不同群组中公平的结果。本文研究了多任务学习在最差群组准确性和群组公平性挑战中的潜力，并提出了通过对多任务表示空间进行正则化改进的方法。实验结果表明，我们的正则化多任务学习方法在最差和平均群组结果上都优于现有方法。

Dec, 2023