May, 2023

人类对齐 AI 辅助决策的校准

PDF
TL;DR本文研究二元分类器中的置信度值使用，发现对于决策者来说确定何时信任预测很困难，提出了置信度值与决策者自身置信度一致时决策最优且易于发现，提出了多重校准并验证其有效性在 AI 辅助决策场景中。
binary classifierconfidence valuesdecision makermulticalibrationai-assisted decision making
发现论文，激发创造
  • 未校准的模型可以提高人工智能协作

    通过改变 AI 模型的置信度，可以提高人类利用 AI 辅助决策的准确性和信任度，强调人类与 AI 系统共同优化的重要性。

    Feb, 2022

  • AI 辅助决策中置信度和解释对准确性和信任校准的影响

    研究了基于不同特征的人工智能辅助决策场景下，人类对人工智能的信任度与信任度校正，以及人类与人工智能协同工作的影响因素。结果表明，人类信任度的校正能够通过特定的置信度得到有效提高，尽管人类的专业独特知识对于决策的最终结果有良好的辅助作用，但同时也存在着使用本地解释会出现的问题。因此，我们需要探索新的可信度解释方法来更好地衡量和校正人类对人工智能的信任度。

    Jan, 2020

  • 预测结果校准：一种新的多类校准方法

    本文提出了一种新的概念 —— 决策校准，指预测分布与真实分布在一组决策者下是 “不可区分的”。在选择有界行动的决策者的情况下，作者设计了一种重新校准算法，其样本复杂度多项式时间，并在皮肤病和 ImageNet 分类等领域中验证了该算法的有效性。

    Jul, 2021

  • LLM 生成代码的质量与信任

    该论文介绍了一种评估生成模型校准性的框架，并发现大部分生成代码模型在校准性方面表现不佳。通过使用 Platt 缩放等标准方法，可以改善校准性，从而提供更准确的决策支持和为未来研究提供校准方法的框架。

    Feb, 2024

  • 校准解释

    本文研究了不确定性和可解释性之间的联系，特别是探讨了置信度和解释性之间的关系，发现模型的置信度与我们解释模型的能力有交互作用，并提出了一种简单的实践方法来改善解释结果：调整置信度以提高解释效果。

    Jul, 2022

  • 分类模型的校准评估

    研究了概率分类器的不确定性表示和校准，提出了基于概率理论的校准评估框架并增加了新的评估和可视化工具。

    Feb, 2019

  • 信任分类器与否

    提出了一种名为 “信任得分” 的新型得分，它度量了分类器和在测试示例上修改后的最近邻分类器之间的一致性，证明了高（低）信任得分可产生出人意料的高（低）正确分类的精确度，同时优于分类器的置信度得分以及许多其他的基准方法，并且在一定的分布假设下证明，如果一个示例具有高（低）的信任得分，则分类器可能会与贝叶斯最优分类器达成一致（不一致），这些保证基于拓扑数据分析领域的最近进展，并在各种不同的非参数设置下提供了非渐近统计一致性速率。

    May, 2018

  • Field-aware Calibration：可靠概率预测的简单有效方法

    本文提出了一种新的评估指标，称为 “field-level calibration error”，用于衡量决策者关注的敏感输入领域中预测偏差，提出了一种名为神经校准的后续校准方法，使用验证集中的领域感知信息进行校准，并通过实验证明其对常见度量（如负对数似然、布里尔分数和 AUC）以及所提出的 “field-level calibration error” 指标的校准性能得到了显著提高。

    May, 2019

  • 网络校准的置信度和确定性的多类别对齐

    我们提出了一种基于多类对齐预测均值置信度和预测确定度（MACC）的新的训练时校准方法，通过鼓励模型在预 softmax 分布中提供低（或高）扩散，从而达到了领域内和领域外预测的最先进校准性能。

    Sep, 2023

  • 通过混淆矩阵和校准将人类预测与模型概率相结合

    本文提出了一种将人类和机器学习模型的输出结合起来的算法，使得人类的分类结果和模型的概率结果相互补充，同时考虑模型的置信度，通过在 CIFAR-10 和 ImageNet 数据集上的实验证明，这种人机结合模型能够比单独使用模型或人类结果在分类精度上取得更好的结果，并且只需要使用 10 个标注好的数据点即可准确估计模型参数。

    Sep, 2021