生成模型中的公平性测量
通过研究公平生成模型的公平度量问题,发现现有的公平度量框架存在相当大的测量误差,并提出了一个新的框架 CLassifier Error-Aware Measurement(CLEAM),通过使用统计模型来解决敏感属性分类器的准确性问题。CLEAM 大大减少了测量误差,并发现文本到图像生成器和 GAN 模型存在相当大的偏见,引发了对它们应用的担忧。
Oct, 2023
本论文开展了第一次大规模实证研究,全面比较了现有最先进的公平性改进技术的性能,结果显示不同方法在不同数据集和敏感属性上表现存在较大差异,且不同的公平评估指标产生显著不同的评估结果,其中预处理方法和内处理方法优于后处理方法,预处理方法表现最佳,本研究为深度学习模型公平性提供了全面的建议。
Jan, 2024
通过综合性框架对条件生成模型进行性能和公平性评估,以图像上采样作为重点应用,并引入 UnfairFace 数据集,揭示了现有方法在公平性和多样性方面的局限性。
Jan, 2024
本文介绍了一个基于交互和隐私保护测试的框架,该框架允许对任何经过训练的模型进行公平程度的认证,无论其训练过程和架构如何,并且提供了一种加密技术来自动进行公平测试和认证推理,同时隐藏参与者的敏感数据。
Sep, 2020
本文展示了在真实世界中基于 40 个高评分 Kaggle 模型的公平性评估及其 7 种缓解技术的实证研究。结果发现,部分优化技术会导致模型失公,尽管机器学习库中有公平控制机制,但这些机制未被记录。最佳的降低失公的方法往往存在权衡和代价.
May, 2020
生成式人工智能越来越多地生成类似于人类输出的内容,从文本到图像等,增加了强化或加剧社会偏见和不平等的风险。我们在此正式刻画生成式人工智能的公平性概念,作为监测和强制公平性的基础。我们利用无限词的概念定义了两个层面的公平性。第一个层面是对生成序列展示的公平性,仅在输出上进行评估,而对提示 / 模型不关心。第二个层面是生成式人工智能模型的固有公平性,要求在输入提示中是中立的情况下也能表现出公平性,即不明确指示生成式人工智能产生特定类型的输出。我们还研究了相对交叉公平性以应对考虑多个类别时公平性的组合爆炸和懒惰公平性强制。我们实施的规范监测和强制工具在测试多个生成式人工智能模型时显示出有趣的结果。
Apr, 2024
本文提出了三个广义公平度量标准,系统分析了不同的参数选择如何导致公平度量方法之间的差异,以更好地了解和处理 NLP/ML 模型中的不公平性。
Jun, 2021
讨论如何使用因果贝叶斯网络和最优输运理论来处理机器学习公平性问题,尤其是在复杂的不公平场景下,提出了一种统一的框架来处理不同的情况和公平标准,并介绍了一种学习公平表示的方法和一种考虑敏感属性使用限制的技术。
Dec, 2020