Sep, 2021

通过混淆矩阵和校准将人类预测与模型概率相结合

PDF
TL;DR本文提出了一种将人类和机器学习模型的输出结合起来的算法，使得人类的分类结果和模型的概率结果相互补充，同时考虑模型的置信度，通过在 CIFAR-10 和 ImageNet 数据集上的实验证明，这种人机结合模型能够比单独使用模型或人类结果在分类精度上取得更好的结果，并且只需要使用 10 个标注好的数据点即可准确估计模型参数。
machine learninghuman decision makingclassification tasksprobabilistic outputcombination models
发现论文，激发创造
  • 构建有效的人工智能团队：建立能够补充多种专业能力的机器学习模型

    通过联合训练分类器和分配系统的方式来补充多个人类专家的能力，实现了对于人类专家难以预测的情况进行准确预测，并将任务分配给最合适的小组成员，该方法在多个实验中均表现出优越的性能。

    Jun, 2022

  • 未校准的模型可以提高人工智能协作

    通过改变 AI 模型的置信度，可以提高人类利用 AI 辅助决策的准确性和信任度，强调人类与 AI 系统共同优化的重要性。

    Feb, 2022

  • 预测概率的解释：模型置信度还是人工标签变异性？

    研究纸的主要议题和研究领域是 NLP 系统的不确定性评估，并讨论了预测分布对于模型信心和人类标签变化的指示的两种不同观点，推荐工具和展示了关于预测和人类标签不确定性的解耦表示的令人兴奋的方向。

    Feb, 2024

  • 人类对齐 AI 辅助决策的校准

    本文研究二元分类器中的置信度值使用，发现对于决策者来说确定何时信任预测很困难，提出了置信度值与决策者自身置信度一致时决策最优且易于发现，提出了多重校准并验证其有效性在 AI 辅助决策场景中。

    May, 2023

  • 预测结果校准：一种新的多类校准方法

    本文提出了一种新的概念 —— 决策校准，指预测分布与真实分布在一组决策者下是 “不可区分的”。在选择有界行动的决策者的情况下，作者设计了一种重新校准算法，其样本复杂度多项式时间，并在皮肤病和 ImageNet 分类等领域中验证了该算法的有效性。

    Jul, 2021

  • 人类不确定性使分类更加健壮

    本文通过训练具有反映人类知觉不确定性的完整标签分布来解决深度神经网络在泛化和鲁棒性方面存在的问题，并呈现了一个新的基准数据集 CIFAR10H。实验结果表明，基于该数据集的显式训练可以实现深度学习分类器具有人类的不确定性，并提高模型泛化性和抵御对抗攻击能力。

    Aug, 2019

  • 实现型人机协作的动态模型：理论和实证证据

    使用机器学习模型进行人机协作系统，研究展示了其动态过程、稳定状态和实际效果；通过针对背包问题的实验，发现人类在与机器学习模型合作中能够改进预测性能，同时发现货币激励对人类决策没有积极影响。

    May, 2024

  • 基于神经网络输出层分布的分类置信度估计

    本文提出了一种基于 logit 值分布的神经网络分类模型的不确定性预测和置信水平估计方法，可用于知识提取过程中的预测筛选，并在关系提取、命名实体识别和图像分类等任务中获得显著的提高。

    Oct, 2022

  • 为什么不两者兼顾？在人工智能协作中，通过不确定性来补充解释和自信心的作用

    本研究进行实证研究，以确定不确定性估计和模型解释对用户对模型的信任和理解的影响，探讨如何将自信度纳入分析结果以提高决策求同的准确性。

    Apr, 2023

  • AI 辅助决策中置信度和解释对准确性和信任校准的影响

    研究了基于不同特征的人工智能辅助决策场景下，人类对人工智能的信任度与信任度校正，以及人类与人工智能协同工作的影响因素。结果表明，人类信任度的校正能够通过特定的置信度得到有效提高，尽管人类的专业独特知识对于决策的最终结果有良好的辅助作用，但同时也存在着使用本地解释会出现的问题。因此，我们需要探索新的可信度解释方法来更好地衡量和校正人类对人工智能的信任度。

    Jan, 2020