未校准的模型可以提高人工智能协作
研究了基于不同特征的人工智能辅助决策场景下,人类对人工智能的信任度与信任度校正,以及人类与人工智能协同工作的影响因素。结果表明,人类信任度的校正能够通过特定的置信度得到有效提高,尽管人类的专业独特知识对于决策的最终结果有良好的辅助作用,但同时也存在着使用本地解释会出现的问题。因此,我们需要探索新的可信度解释方法来更好地衡量和校正人类对人工智能的信任度。
Jan, 2020
人工智能系统的可靠性和决策呈现方式对用户建立 AI 系统的心理模型至关重要,现代自然语言处理系统常常不可靠,导致系统信任被削弱,研究发现用户对错误和不准确的信心估计会对信任和性能造成损害,并且这种损害缓慢恢复,这些发现凸显了用户面向的人工智能应用中测定是否信任该系统时校准的重要性。
Oct, 2023
研究人工智能在人类协作中的表现和对人类信任、接受建议以及协作结果的影响,揭示了披露人工智能表达的信心水平和性能反馈有助于更好地识别信心不一致,但参与者往往会因此减少信任,拒绝人工智能建议,导致协作任务表现更差,这为提高人工智能与人类的协作提供了有价值的见解。
Feb, 2024
本文研究二元分类器中的置信度值使用,发现对于决策者来说确定何时信任预测很困难,提出了置信度值与决策者自身置信度一致时决策最优且易于发现,提出了多重校准并验证其有效性在 AI 辅助决策场景中。
May, 2023
本研究进行实证研究,以确定不确定性估计和模型解释对用户对模型的信任和理解的影响,探讨如何将自信度纳入分析结果以提高决策求同的准确性。
Apr, 2023
该研究表明,将人类专业知识的分布纳入考虑,并以此训练无监督的人工智能模型,能够显著提高 AI 对未来发现的预测能力,特别是在相关文献稀缺的情况下,这些模型成功预测出人类预测和可能做出预测的科学家,为科学进步开创新的前沿。
Jun, 2023
该研究针对 AI 辅助决策中人类决策者何时应该信任 AI,何时应该信任自己的问题,提出了基于任务实例级别的双方正确概率计算及三种信任校准策略,并进行了两项初步研究和一项比较实验,结果表明该方案的效果显著提高了人类对 AI 的适当信任,为更人性化的 AI 决策提供了实用意义。
Jan, 2023
通过研究概念为基础的模型,作者认为通过训练不确定的概念标签有助于减轻概念为基础的系统处理不确定干预时的弱点,从而披露了一些开放性挑战,并提到未来需要进行多学科研究来构建交互式的不确定性感知系统。
Mar, 2023
本文阐述了反事实解释信心分数是如何帮助用户更好地理解和更好地信任 AI 模型的预测,在人机交互系统中展示信心分数可以帮助建立人类和 AI 系统之间的信任,提出了两种用于理解模型信心的方法:(1) 基于反事实例;和 (2) 基于反事实空间的可视化。
Jun, 2022
本文提出了一种将人类和机器学习模型的输出结合起来的算法,使得人类的分类结果和模型的概率结果相互补充,同时考虑模型的置信度,通过在 CIFAR-10 和 ImageNet 数据集上的实验证明,这种人机结合模型能够比单独使用模型或人类结果在分类精度上取得更好的结果,并且只需要使用 10 个标注好的数据点即可准确估计模型参数。
Sep, 2021