评估 AI 群体公平性:模糊逻辑视角
讨论如何使用因果贝叶斯网络和最优输运理论来处理机器学习公平性问题,尤其是在复杂的不公平场景下,提出了一种统一的框架来处理不同的情况和公平标准,并介绍了一种学习公平表示的方法和一种考虑敏感属性使用限制的技术。
Dec, 2020
随着人工智能在影响人类和社会的决策中扮演越来越重要的角色,自动化决策系统的问责制越来越受到研究人员和从业者的关注。然而,在评估公平性方面,文献中存在着大量采用不同视角和假设的公平度量标准,这通常是不兼容的。本文提出了一个新的等混乱公平测试来检查自动化决策系统的公平性,并提出了一个新的混淆平等误差来量化任何不公平性的程度。通过对自动化决策系统 COMPAS 进行案例研究,证明了这里提供的测试、度量和事后分析的实用性。
Jul, 2023
本文旨在调查研究自动化决策系统中机器学习算法存在的偏差及其与公平、隐私和分类准确性之间的关系,并综述了处理公平 - 准确性权衡的不同方法。作者通过实验分析了公平度量和准确度在现实世界场景中的关系。
Sep, 2022
本文总结和评估了追求人工智能系统公正性的各种方法和技术,提出了定义、衡量和预防人工智能偏见的实用指南,并针对评估人工智能系统偏见的一些简单但常见方法提出了更为复杂和有效的替代方案。此外它还提供了一个共同的语言来解决领域内普遍存在的争议和混乱。它描述了涉及人工智能公正性的各种权衡,并提供了实用建议来平衡这些权衡。本文提供了关于人工智能从业者、组织领导、政策制定者的讨论和指南,以及为技术观众提供更多相关资料的链接。通过举例清晰阐述了本文中所提到的概念、挑战和建议。
Jul, 2022
AI Fairness 领域存在多种理解和多样化的公平概念,对此,本文提出了一种基于上下文和以社会为中心的方法来帮助项目团队更好地识别、减轻和处理人工智能项目流程中出现的不公平偏见和歧视,并讨论了如何通过自我评估、风险管理和公平准则的文档化来实现 AI 公平原则。
Feb, 2024
在 ChatGPT、Gemini 和其他大型语言模型(LLMs)的普适型系统时代,迫切需要公平的人工智能。然而,人工智能与人类交互的复杂性及其社会影响引发了公平标准如何应用的问题。我们回顾了机器学习研究人员用于评估公平性的技术框架,如群体公平性和公平表示,并发现它们在应用于 LLMs 时存在固有的局限性。为了应对这些挑战,我们提出了实现特定应用案例公平性的指南:上下文的重要性,LLMs 开发者的责任以及需求利益相关者在设计和评估过程中的参与。此外,利用 AI 系统的普适能力作为可扩展的 AI 辅助调整方法可能最终可能成为可能,并且甚至是必需的。
May, 2024
本文概述了在使用人工智能算法时如何识别、测量和提高算法公正性的主要概念,并讨论了算法偏见和不公正的原因、公正的常见定义和度量以及预处理、处理中和后处理机制,最终回顾了几个新兴的算法公正性研究子领域。
Jan, 2020
该研究讨论了在自动化决策中公平性的概念和实现方式,并说明了当前的公平机器学习范式中存在的错误推理、误导性陈述和可疑做法,并探讨了在存在群体差异的任何数据设置中,统计上准确结果和群体相似结果之间的权衡存在,并对未来的相关领域提出了建议。
Jun, 2023
生成式人工智能越来越多地生成类似于人类输出的内容,从文本到图像等,增加了强化或加剧社会偏见和不平等的风险。我们在此正式刻画生成式人工智能的公平性概念,作为监测和强制公平性的基础。我们利用无限词的概念定义了两个层面的公平性。第一个层面是对生成序列展示的公平性,仅在输出上进行评估,而对提示 / 模型不关心。第二个层面是生成式人工智能模型的固有公平性,要求在输入提示中是中立的情况下也能表现出公平性,即不明确指示生成式人工智能产生特定类型的输出。我们还研究了相对交叉公平性以应对考虑多个类别时公平性的组合爆炸和懒惰公平性强制。我们实施的规范监测和强制工具在测试多个生成式人工智能模型时显示出有趣的结果。
Apr, 2024