Apr, 2024

提升机器学习模型的公平性与性能:一种采用蒙特卡洛辍学和帕累托优化的多任务学习方法

TL;DR本文考虑了机器学习中可推广的偏见缓解技术的需求,由于对公平性和歧视的担忧,这些技术在数据驱动的决策过程中得到了各个行业的应用。尽管许多现有的机器学习偏见缓解方法在特定情况下取得了成功,但它们常常缺乏可推广性,不能轻松地应用于不同的数据类型或模型。此外,准确性与公平性之间的权衡仍然是该领域的一种根本张力。为了解决这些问题,我们提出了一种基于多任务学习的偏见缓解方法,利用了多目标优化中的 Monte-Carlo dropout 和 Pareto 优势的概念。该方法在不使用敏感信息的情况下同时优化准确性和公平性,提高了模型的可解释性。我们在来自不同领域的三个数据集上测试了这种方法,并展示了它如何提供模型公平性和性能之间的最理想权衡。这使得我们能够在特定领域进行调优,其中一个指标可能比另一个更重要。通过我们在本文中介绍的框架,我们旨在增强公平性和性能之间的权衡,并为机器学习中偏见缓解方法的可推广性问题提供一个解决方案。