构建有效的人工智能团队：建立能够补充多种专业能力的机器学习模型

IJCAIJun, 2022

构建有效的人工智能团队：建立能够补充多种专业能力的机器学习模型

Forming Effective Human-AI Teams: Building Machine Learning Models that Complement the Capabilities of Multiple Experts

Patrick Hemmer, Sebastian Schellhammer, Michael Vössing, Johannes Jakubik, Gerhard Satzger

TL;DR通过联合训练分类器和分配系统的方式来补充多个人类专家的能力，实现了对于人类专家难以预测的情况进行准确预测，并将任务分配给最合适的小组成员，该方法在多个实验中均表现出优越的性能。

Abstract

machine learning (ML) models are increasingly being used in application domains that often involve working together with human experts. In this context, it can be advantageous to defer certain instances to a single human expert when they are difficult to predict for the ML model. While

machine learning human expert classification model allocation system expert diversity

发现论文，激发创造

有限专家预测下的顺延学习

本文提出了一个三步方法，可以使用一个较小的人类专家预测集训练学习延迟算法。该方法涉及使用具有地面真实标签的嵌入模型进行训练，然后进行专家能力预测器模型的训练，生成人工专家预测。我们在两个公共数据集上评估了我们的方法，并展示了即使对每个类别只有少量的专家预测，这些算法也能超过单独使用人类专家和人工智能的性能。

Apr, 2023

学习如何协同人类

本文针对开放环境中的 AI，通过使用端到端学习策略，结合人类和机器的不同能力组成的人机团队优化其组合性能，并在科学发现和医疗诊断领域进行了实证研究，结果表明表现优于单独的机器和人类认知，是对机器学习如何辅助人类推理的系统性研究。

May, 2020

提高人机协作系统的效率：将人工智能加入人类专家

人工智能和机器学习在信息系统中发挥了重要作用，然而机器学习模型不完美并且可能产生错误分类。因此，本研究提出了一种混合系统，利用人工专家对难以分类的实例进行审核，并创造了人工专家来学习对之前由人工专家审核过的未知类别数据实例进行分类。实验证明，这种方法在图像分类的几个基准测试中优于传统的人机合作系统。

Jul, 2023

面向多个专家的无偏准确推迟

我们提出了一个框架，在混合机器学习模型和专家预测的预测系统中，同时学习分类器和推迟系统，通过推迟到一个或多个人类专家来确保较低置信度的分类器的准确性和公平性。测试结果表明，我们的学习框架显著提高了最终预测的准确性和公平性，而且在一个实际的内容审核数据集上也优于传统基线。

Feb, 2021

关于人工智能和人类协同招聘团队表现和偏见的研究

探讨了使用 AI 辅助决策时，人工智能的预测性能与偏差如何对人类决策产生影响的复杂动态，并通过大规模用户研究发现，高性能的模型显著提高了人类在混合环境中的表现，但有些模型削弱了混合偏见，有些则加重了混合偏见。这些研究结果表明，预先评估这些复杂动态对于部署人工智能具有明确的必要性。

Feb, 2022

将专家判断融入机器学习模型

本文提出了一个新的框架，通过对无标签数据点的代表性进行评估，利用专家的判断来改进机器学习模型的预测，并在多项实验和评估中获得了成功的结果和评价指标。

Apr, 2023

实现型人机协作的动态模型：理论和实证证据

使用机器学习模型进行人机协作系统，研究展示了其动态过程、稳定状态和实际效果；通过针对背包问题的实验，发现人类在与机器学习模型合作中能够改进预测性能，同时发现货币激励对人类决策没有积极影响。

May, 2024

推进人工智能和人类互补性：用户专业知识和算法调优对共同决策的影响

研究了用户与三个模拟算法模型的交互，发现较低水平的用户虽然能从 AI 建议中受益，但是他们的决策水平却没能达到 AI 的精度，高水平用户则通常能辨别何时应该遵循 AI 建议并保持或提高其性能，而中等水平者则最不稳定，AI 建议会对其性能产生帮助或伤害，此外，用户对 AI 性能的感知也对决策的精度影响非常大。该研究提供了关于人工智能协作相关复杂因素的见解，并提出了如何开发以人为本的人工智能算法以辅助用户在决策任务中的建议。

Aug, 2022

模拟人工智能团队决策

研究表明，当涉及到风险元素和评估人类和 AI 代理能力的探索利用过程时，人工智能和人类在小组决策方面具有互补技能。本文面向一组带有缺陷的 AI 代理人，向人类团队提交一系列智力问题，以评估团队成员和可用 AI 代理人的相对专业知识，评估不同行动的风险并通过达成共识来最大化整体回报，并提出了人工智能 - 人类团队决策的模型。研究验证了在不确定情况下的人工智能团队和人类行为预测中的前景理论、影响动态和贝叶斯学习的社会认知构建的价值。

Jan, 2022

区分不可区分的事物：算法预测中的人类专业知识

将人类专业知识用于算法预测中，通过选择性地融入人类反馈来改进预测性能，证实专家的主观信息可以显著提高特定实例的算法预测准确性，从而实现有效的人工智能与人类的合作。

Feb, 2024