Dec, 2023

探索非专业用户反馈对提升 AI 公平性的影响

PDF
TL;DR人工智能的公平性在高风险决策中越来越引起关注，让利益相关者，尤其是普通用户，参与公平的人工智能开发具有潜力但往往被忽视。最近的努力探索了让普通用户提供与公平性相关的反馈的方法，但对如何将用户的反馈整合到人工智能模型中以及这样做的影响尚不了解。为了填补这一差距，我们从 58 个普通用户收集了关于一个在 Home Credit 数据集上训练的 XGBoost 模型公平性的反馈，并进行了离线实验，以研究重新训练模型对准确性、个体和团体公平性的影响。我们的工作为在 XGBoost 中整合用户公平反馈提供了基准结果，并提供了一个数据集和代码框架，以推动参与利益相关者研究人工智能公平性的起步工作。我们的讨论突出了在人工智能公平性中使用用户反馈面临的挑战，并指出了交互式机器学习的未来应用领域的方向。
发现论文，激发创造
  • 在交互式人机协同 AI 公平性中促进最终用户的参与

    我们探索了一种人机交互界面的设计，使得普通用户可以识别潜在的公平问题并在贷款决策的背景下解决它们，为评判和解决人工智能的公平性做出贡献。

    Apr, 2022

  • 谁的偏好？公平偏好的差异及其对利用人类反馈的人工智能公平性的影响

    通过从人类反馈中学习，我们考虑在内容审查中公平性的设置，在比较两个评论时，人类反馈被用来确定如何处理涉及不同敏感属性组的评论。我们发现，与注释者的种族、年龄、政治立场、教育水平和 LGBTQ + 身份有关，公平偏好存在显著差异，并且文本中提到的人口统计学信息对用户感知个体公平性有着强烈影响。此外，我们发现在预测人类偏好的下游分类器中也存在差异。最后，我们观察到在给定相等权重的不同人口统计注释训练的集成模型中，针对不同人口统计交叉部分表现更好，相比于给每个注释相等权重的单个分类器。

    Jun, 2024

  • 基于人工智能的手机应用程序评论中公平性关注的研究

    在本篇研究中，我们通过构建一个包含公平性和非公平性评论的统计样本数据集，开发和评估了一组机器学习和深度学习分类器，用于区分公平性评论和非公平性评论。我们的实验结果表明，我们最佳的分类器能以 94% 的准确率检测出公平性评论。然后，我们将最佳分类器应用于收集自 108 个 AI 应用的大约 950 万条评论，并识别出约 92,000 个公平性评论。公平性评论分布在 23 个应用类别中，其中 ' 通讯 ' 和' 社交 ' 应用类别的公平性评论所占比例最高。通过对这 92,000 个公平性评论应用 K-means 聚类技术和手动分析，我们识别出了六种不同类型的公平性问题。最后，对于这些公平性评论，我们手动分析了 2,248 个应用开发者的回复，找出了六个根本原因以及应用开发者为公平性问题提出的几种合理解释。

    Jan, 2024

  • 采用以人为本的 AI 方法实现公平公正可解释 AI

    本文探讨了机器学习中公平性、可解释性、人本主义、社会偏差等问题，并提出了一种以人为本的人工智能方法，以增强分类系统和单词嵌入的可解释性和公平性，通过 D-BIAS 等可视化工具识别和缓解社会偏见。

    Jun, 2023

  • FairLay-ML: 数据驱动型社会关键算法中不公平现象的直观解决方案

    本文介绍了 FairLay-ML，一种结合了已有研究工具的图形用户界面，能够提供机器学习模型中不公平逻辑的直观解释，具有易于安装、提供实时黑盒解释和可执行的解决方案等特点。

    Jul, 2023

  • 解释模型：解释对公正评判的影响的经验研究

    通过一项关于程序生成解释的实证研究，我们发现不同类型的解释如何影响人们对机器学习系统的公平判断，其中某些解释可增强人们对算法公正性的信心，但也有部分解释会被认为是不公平的，此外，不同类型的解释也能更有效地揭示不同的公平问题，因此我们讨论了提供个性化和自适应的解释来支持机器学习系统的公平判断。

    Jan, 2019

  • FairCompass：机器学习中的公平操作

    提出了一种名为 'FairCompass' 的人在循环中的公平审计方法，通过混合可视化分析系统将子组发现技术和基于决策树的模式集成到终端用户中，以促进可视分析的知识生成模型的使用，在实际情境中评估了 FairCompass 的公平审计效果，结果显示该系统在实际应用上具有潜力，望能填补公平性研究中的现行空白并促进在机器学习系统中的公平性操作实施。

    Dec, 2023

  • 机器学习系统公平性的提升：业界从业者需求如何？

    本文通过 35 个半结构化面谈和 267 个机器学习从业者的匿名调查，系统研究了商业产品团队开发公平的机器学习系统所面临的挑战和需求，发现了业界从业者面临的挑战及公平机器学习的研究文献中提出的解决方案之间的一些不协调之处，并提出了未来机器学习与人机交互研究的方向，以更好地满足产业从业者的需求。

    Dec, 2018

  • 走向负责任的 AI：探索基于人类中心的人工智能用户界面的设计空间，以研究公正性

    本研究提供了一种设计空间方法，通过人机交互设计支持数据科学家和领域专家对 AI 公平性进行调查，我们使用贷款申请作为实例，通过一系列研讨会，我们将贷款专员和数据科学家的需求实现到了 FairHIL 用户接口中。该研究通过 think-aloud 用户研究验证了 FairHIL 的可靠性，并为调查 AI 模型公平性提供更好的设计。

    Jun, 2022

  • 面向自然语言处理模型公平性的解释性方法应用挑战

    本文简要回顾自然语言处理领域中解释性和公平性的研究趋势，识别出目前通过解释性方法来检测和减轻偏见的实践，调查 XAI 方法在解决公平问题方面广泛应用的障碍。

    Jun, 2022