Dec, 2023

谨慎民主化：针对用户界面的开源自动机器学习工具中的公平特性需求

PDF
TL;DR人工智能在企业和组织中的作用越来越大，对人类用户的结果和利益产生了影响。自动化机器学习（AutoML）通过自动化重复性任务和基于数据的决策，简化了机器学习模型开发过程，使非专家也能够高效地构建高质量模型。然而，AutoML 工具在处理数据、模型选择和优化方法方面可能存在偏见。我们对用户界面的开源 AutoML 工具进行了实验研究（DataRobot、H2O Studio、Dataiku 和 Rapidminer Studio），以检查它们是否具备辅助用户开发公平感知机器学习模型的功能。实验涵盖了以下特征的评估考虑：了解用例上下文、数据表示、特征相关性和敏感性、数据偏差和预处理技术、数据处理能力、训练测试分离、超参数处理和约束、面向公平性的模型开发、解释性以及用户下载和编辑模型的能力。结果显示了特征在支持公平感知模型开发方面的不足。此外，结果还强调了在 AutoML 工具中确立某些促进公平性的基本特征的需要。
aiautomated machine learningautoml toolsfairness-aware machine learning modelsfeatures
发现论文，激发创造
  • 自动化公平性是否可行？面向公平意识的自动机器学习的指南和机会

    自动机器学习是一项加速机器学习系统开发过程的技术，但考虑了公平性后，公平性优化不应被简单地视为一项技术问题，自动机器学习应成为机器学习从业者工具箱中为公平性研究服务的重要角色。

    Mar, 2023

  • 修正公平性时要考虑准确性：使用 AutoML 进行性能感知的公平性修复

    本研究提出了一种新颖的方法来使用自动机器学习技术来减轻偏见，并通过改进 AutoML 的默认优化函数和将公平目标纳入其中来实现这一目标，使偏见得到很好的缓解而几乎不会带来精度损失，同时还提出了一种公平感知的搜索空间修剪方法，以减少计算成本和修复时间。通过在四个公平问题和 16 个不同的机器学习模型上进行评估，发现本研究的方法在修复成败中有着显著的改进，成功地修复了 60 个错误案例，而现有的偏差减轻技术只修复了 44 个错误案例。

    Jun, 2023

  • 适合工作的工具：机器学习中的开源审计工具

    本文强调了在机器学习中使用公平性、责任性、透明度和伦理 (FATE) 工具的紧迫性，并提供了使用开源工具的动机。

    Jun, 2022

  • 一个众包平台上的机器学习模型是否会表现出偏见？模型公正性的实证研究

    本文展示了在真实世界中基于 40 个高评分 Kaggle 模型的公平性评估及其 7 种缓解技术的实证研究。结果发现，部分优化技术会导致模型失公，尽管机器学习库中有公平控制机制，但这些机制未被记录。最佳的降低失公的方法往往存在权衡和代价.

    May, 2020

  • 自动化机器学习：业务分析中的 AI 决策

    本文分析了自动机器学习在企业分析应用中的潜力，并将 H2O AutoML 框架与手工调整的 ML 模型在三个真实数据集上进行了基准测试，发现 H2O AutoML 框架快速、易用、可靠，表现接近手工调优的 ML 模型，是一个有价值的工具，能够支持快速原型设计，缩短开发和部署周期，并能够弥合 ML 专家供需之间的差距。

    May, 2022

  • FairLay-ML: 数据驱动型社会关键算法中不公平现象的直观解决方案

    本文介绍了 FairLay-ML，一种结合了已有研究工具的图形用户界面，能够提供机器学习模型中不公平逻辑的直观解释，具有易于安装、提供实时黑盒解释和可执行的解决方案等特点。

    Jul, 2023

  • 关于公平感知机器学习数据集的调查

    本文概述了应用于公平感知机器学习中的真实世界数据集，并使用贝叶斯网络分析数据特征之间的关系，进一步进行了探索性分析。

    Oct, 2021

  • 自动机器学习工具使用的实证研究

    本文通过对 GitHub 上的开源项目进行调研，分析了当前机器学习从业者使用自动化机器学习工具的情况，研究结果表明 AutoML 工具已经广泛应用于机器学习的许多领域，可以极大的提高特征工程、模型训练和超参数优化的效率。

    Aug, 2022

  • 在交互式人机协同 AI 公平性中促进最终用户的参与

    我们探索了一种人机交互界面的设计，使得普通用户可以识别潜在的公平问题并在贷款决策的背景下解决它们，为评判和解决人工智能的公平性做出贡献。

    Apr, 2022

  • 采用以人为本的 AI 方法实现公平公正可解释 AI

    本文探讨了机器学习中公平性、可解释性、人本主义、社会偏差等问题，并提出了一种以人为本的人工智能方法，以增强分类系统和单词嵌入的可解释性和公平性，通过 D-BIAS 等可视化工具识别和缓解社会偏见。

    Jun, 2023