用统计检验算法替换人类决策者

Jun, 2023

Statistical Tests for Replacing Human Decision Makers with Algorithms

Kai Feng, Han Hong, Ke Tang, Jingyuan Wang

TL;DR本研究构建了一种基于统计学的人工智能框架，能够通过对人工预测结果的基准测试，将部分医生的诊断建议替换成人工智能算法的推荐，实验证明在异常分娩检测上具有比医生更准确的真实阳性率和更低的假阳性率，特别是在较不发达地区，更容易替代乡村医生的诊断。

Abstract

This paper proposes a statistical framework with which artificial intelligence can improve human decision making. The performance of each human decision maker is first benchmarked against machine predictions; we then replace the decisions made by a subset of the decision makers with th

artificial intelligence human decision making pregnancy outcomes bayesian posterior loss function rural areas

发现论文，激发创造

人工智能是否帮助人类做出更好的决策？一种实验评估的方法论框架

基于数据驱动算法的人工智能在当今社会中已普遍应用，但在许多情况下，尤其是当风险较高时，人类仍然作出最终决策。本研究引入了一种新的方法框架，可用于在无额外假设的情况下实验性地回答这个问题。我们采用标准分类指标来衡量决策者做出正确决策的能力，通过单盲实验设计随机对案例进行人工智能生成的建议，并由人类作出最终决策，我们比较了三种可选的决策系统的表现：单独人类、人类辅助人工智能和单独人工智能。对我们自己进行的随机对照试验中的数据应用了提出的方法论，发现人工智能建议并没有提高法官决定是否强制缴纳保释金的分类准确性。分析还表明，单独人工智能的决策通常比人类决策（无论是否辅助人工智能）表现更差。最后，相比白人被捕者，在对非白人被捕者的针对性保释方面，人工智能建议往往不必要地更频繁地强制缴纳保释金。

Mar, 2024

人类专业知识审计

研究发现，即使在诊断精度高于人类专家的情况下，人类专家仍然可能会为高风险预测任务添加价值，并提出了一种统计框架来检测这种专家水平。这个框架在急诊科的数据上进行了测试。

Jun, 2023

衡量人工智能依赖性的统计框架

通过提出一种统计决策理论为基础的可靠性的正式定义，将研究中对合理依赖的定义与人工智能系统准确预测的信号区分和形成准确信念所面临的挑战分离，为人工智能与人类之间的互补性研究提供了一个可以指导设计和解释的框架。

Jan, 2024

算法自动化问题：预测、分流和人力投入

本文描述了机器人决策背后的决策过程，提出了一个基于优化问题的框架来优化自动化任务，在基于这个框架的基础上提高算法的制定和实践，实现自动化的快速和迅速发展。

Mar, 2019

学习何时向人类决策者提供建议

通过对已有的案例进行分析，本文提出了交互式人工智能决策辅助系统的设计，旨在通过学习人类的选择来决定何时提供算法支持，从而提高决策的准确性和可靠性。作者在美国刑事司法系统的前期释放审判方面进行了大规模实验，并发现交互式辅助系统能够在必要的时候提供准确的建议，与固定的非交互式系统相比较，可以显著提高人类的决策水平。同时，交互式辅助系统还具有促进人类学习、保护人类决策者补充优势、促进对建议的更积极响应等优点。

Sep, 2022

区分不可区分的事物：算法预测中的人类专业知识

将人类专业知识用于算法预测中，通过选择性地融入人类反馈来改进预测性能，证实专家的主观信息可以显著提高特定实例的算法预测准确性，从而实现有效的人工智能与人类的合作。

Feb, 2024

人工智能与统计学

在人工智能研究中，通过人机协作、考虑种群、问问题、培训数据的代表性以及结果的审查等统计概念，采用随机化和本地控制的实验设计原则以及稳定性原则来获得算法和数据结果的可重复性和解释性。

Dec, 2017

人类 - 算法交互决策的必要性：在算法评分错误的情况下

该研究探讨了算法工具在儿童虐待热线筛选决策方面的应用，结果显示人类对机器的建议进行了更改，缺乏自主权的全自动化决策管道存在风险。

Feb, 2020

利用人工智能生成的决策辅助工具提升人类决策能力

使用机器学习和认知科学的方法为人类决策制定决策辅助方法，将其转化为自然语言指令可显著提高决策性能。

Mar, 2022

使用算法引导人类决策制定者：决策的辅助器还是控制器？

本文探讨了一种学习人类决策者并提供 “个性化推荐” 以控制最终决策的决策辅助算法，分析了如何达到最终决策的完美控制条件，并讨论了算法的潜在应用及其社会影响。

Mar, 2023