利用模拟来识别人工智能中的偏见
该研究通过对人群亚组之间的疾病分类器性能分析,发现低诊断率造成的表现差异引起了关注,进一步强调了在训练数据中嵌入的人类偏见可能会放大现有的健康差异,并探讨了评估模型公正性的一些困难。
Jan, 2022
调查表明,人工智能领域中存在各种偏见和不公,因此机器学习研究人员定义了公平性的分类,以解决现有 AI 系统中的偏见问题。此外,调查还考察了在 AI 的不同领域和子领域中,现有技术的问题及其应对措施,以期鼓励研究人员在其各自领域中研究此问题。
Aug, 2019
通过一种新的分析框架,我们展示了如何系统性、客观地研究医学图像中的偏见对人工智能模型的影响,并评估偏见缓解策略在性能差异方面的有效性,从而支持开发健壮、负责任的临床人工智能。
Nov, 2023
研究发现 AI/ML 系统中存在的偏差主要来源于数据集中过度再现的特征。该论文提出了一种基于生成模型的方法,通过学习潜在变量来减少偏差引起的威胁,算法可以帮助移除数据集中的偏差。两个数据集上的实验结果表明,该方法取得了良好的效果。
Apr, 2022
本文提出了一种框架来生成具有特定类型偏差和它们的组合的合成数据,以分析在机器学习模型中存在的各种偏差,讨论它们与道德和正义框架的关系,并利用我们提出的合成数据发生器在不同场景中(包括存在不同偏差组合的场景)进行实验,因此分析了偏差对未减轻和减轻的机器学习模型的性能和公平度指标的影响。
Sep, 2022
本研究提出了一种基于软件工程原理的人工智能框架,用于在保证医疗保健公平的同时识别和缓解数据和模型中的偏见和歧视,通过案例研究表明数据中的系统性偏见会导致模型预测中的偏差增大,并提出了机器学习方法来预防这种偏见。未来的研究目标是在实际的临床环境中测试和验证所提出的 ML 框架,以评估其在促进健康公平方面的影响。
May, 2023
本文阐述了机器学习模型中出现偏见导致算法决策对特定群体或少数群体的歧视的问题,提出了公平学习问题的数学框架,运用标准差异影响指数量化偏见,最终检查了不同方法在二元分类结果中减少偏见的性能,并表明一些直观方法并不有效。这揭示了在训练观测结果包含偏见时,尝试制作公正的机器学习模型可能是一项特别具有挑战性的任务。
Mar, 2020
计算机决策系统在许多日常生活的方面得到广泛应用,但其中可能存在性别、种族或其他偏见问题。本研究提出一种鲁棒的方法,通过真实世界数据提取出表征人口平衡和真实性的数据集,用于训练分类器,并测试其泛化能力,证实计算机辅助决策中不存在明示或隐含偏见。
Sep, 2023
通过模拟器进行对抗测试,寻找机器学习模型的弱点并提供一种方法来发现这些弱点。该方法应用于人脸识别模型中,显示在常规的验证数据集之外,可以发现真实数据集训练的模型存在的弱点,包括对抗性合成人脸等。
Jun, 2021