Jun, 2020

关于对抗偏差和公正机器学习的鲁棒性

PDF
TL;DR为保证公正性，公平机器学习算法致力于消除不同群体间的行为差异，但是研究表明，在训练数据存在偏差的情况下，将同等的重视不同规模和分布的不同群体，可能会与鲁棒性相冲突，攻击者可以通过对样本和标签的控制来攻击群体公平性机器学习，从而在测试数据上显著降低测试准确率，本文评估了多种算法和基准数据集的攻击，分析了公平机器学习的鲁棒性。
发现论文，激发创造
  • 算法公平性隐私风险

    研究算法公平性和隐私在机器学习中的应用，分析了公平性对训练数据信息泄露的影响，发现公平性会牺牲一部分隐私权，特别是对弱势群体。同时，训练数据的偏差越大，为了弱势群体的公平性所付出的隐私成本也越高。

    Nov, 2020

  • 伦理对手：通过对抗机器学习缓解不公平现象

    提出了一个框架以减少训练数据集中不公平的代表性，其中使用两个相互操作的对手功能来提高公平性。首先，通过训练模型防止猜测受保护属性的值，同时限制效用损失，实现模型公平性优化。然后，利用对抗机器学习的规避攻击生成新的被错误分类的例子，并用于第一步模型的重新训练和改进增强模型的公平性。将这两个步骤迭代应用，直到显著提高公平性。

    May, 2020

  • 公平性增加对抗性漏洞性

    本篇论文研究了深度学习模型在公平性和鲁棒性交叉应用中面临的挑战，并探讨了取得公平性如何降低模型对抗采样的鲁棒性的现象。作者提出了一种简单而有效的解决方案来平衡公平性和鲁棒性之间的权衡关系。

    Nov, 2022

  • 公平攻击加剧算法偏见

    该研究提出了两种针对算法公平性的新型数据污染攻击方法：锚定攻击和影响公平攻击，通过实验验证了这些攻击的有效性。

    Dec, 2020

  • 通过对抗网络逼近机器学习公平性

    介绍一种新的针对敏感特征的机器学习公平性框架，通过去除敏感信息和最小化敏感特征的边际贡献来改善模型的公平性。实验结果表明，该模型在公平性指标和预测性能方面均优于相关最先进方法。

    Sep, 2019

  • 公平精确性平衡下的内在公平性 - 准确性权衡

    机器学习在执法、刑事司法、金融、招聘和招生等领域的日益广泛应用，确保机器学习辅助决策的公平性变得越来越关键。本文以统计学的 “平等机会” 概念为基础，研究了公平性和准确性之间的折衷。我们提出了一个新的准确性上限（适用于任何分类器），并将其作为公平预算的函数。此外，我们的上限还与数据、标签和敏感群体属性的底层统计学关系密切相关。通过对三个真实世界数据集（COMPAS、成年人和法学院）进行经验分析，我们验证了我们理论上限的有效性。具体而言，我们将我们的上限与文献中各种现有公平分类器所实现的折衷情况进行了比较。我们的结果表明，在统计差异存在的情况下，实现高准确性条件下的低偏差可能从根本上受到限制。

    May, 2024

  • 朝着阈值不变的公平分类

    本文提出了门槛不变的公平性的概念，通过两种近似方法来均衡不同群体之间的风险分布，实现了对机器学习模型公平性的提高。

    Jun, 2020

  • 算法公平性的毒化攻击

    我们引入了一种针对算法公平性的优化框架，并开发了一种基于梯度的毒化攻击方法，旨在在数据的不同群体之间引入分类偏差，我们实验性地表明，我们的攻击不仅在白盒环境中有效，特别是在黑盒情况下，也对目标模型有很大影响，我们相信我们的发现为完全新的针对算法公平性在不同场景中的对抗攻击定义铺平了道路，并且研究这些漏洞将有助于未来设计更加稳健的算法和对策。

    Apr, 2020

  • 公正和校准

    本论文探讨了在不同人群中最小化误差差异和维护校准概率估计之间的紧张关系，并表明校准只与单一误差约束兼容。

    Sep, 2017

  • 保护受保护群体：规避有害公平性

    介绍了一种名为 Welfare-Equalizing 的公平算法，旨在保护受保护群体。该方法提供了一种公平性数据分类的统一框架，以及一种计算最优分类器的算法。

    May, 2019