Sep, 2023

CONFIDERAI: 一种新颖的可解释且可靠的人工智能设计与解释的分数函数

PDF
TL;DR通过定义 CONFIDERAI 作为规则模型的新评分函数，本文提出了一种将符合性预测与可解释机器学习相结合的方法，通过利用规则的预测能力和点在规则边界内的几何位置。同时，通过采用支持向量数据描述（SVDD）来控制非符合样本数量，解决了在特征空间中定义满足符合性保证的区域的问题。该方法在基准数据集和真实数据集（如 DNS 隧道检测或心血管疾病预测）上得到了有希望的结果。
artificial intelligencemachine learningconformityexplainable machine learningconformal prediction
发现论文，激发创造
  • CONFINE：可解释神经网络的拟合预测

    通过引入适应性神经网络的可证估计预测模型，CONFINE 可以增强模型透明度和可靠性，并提供基于样例的解释和置信度评估，从而提高模型准确性。

    Jun, 2024

  • 概率鲁棒可伸缩机器学习分类的整体预测

    通过引入得分函数的新定义和定义一组特殊的输入变量（conformal safety set），我们分析了可扩展分类器和一致预测之间的相似性，该安全集能够识别满足误差覆盖保证的输入空间模式，即在该集合中，观察到错误（可能不安全）标签的概率受到预定义的 ε 误差水平的限制。通过在网络安全中应用于识别 DNS 隧道攻击，我们展示了该框架的实际影响。我们的工作有助于发展概率稳健可靠的机器学习模型。

    Mar, 2024

  • 基于排名的符合预测集的可信分类

    通过使用适用于对标签顺序进行正确预测的分类模型的排名式评分函数，我们提出了一种新颖的符合性预测方法，该方法能够预测一组可能的标签，并获得相应的置信度得分以捕捉不确定性。我们的方法构建了在实现期望覆盖率的同时管理其大小的预测集合，通过对底层分类器的排名分布进行理论分析，我们提供了符合性预测集合的预期大小的理论分析。通过广泛的实验证明了我们的方法在各种数据集上优于现有技术，提供了可靠的不确定性量化。本文的贡献包括一种新颖的符合性预测方法、理论分析和实证评估，通过实现可靠的不确定性量化，推动了机器学习系统的实际部署。

    Jul, 2024

  • 基于一致预测集的人类决策改善

    在这项研究中，我们通过进行一项预先注册的随机对照试验，提供给人类被试一些确定度集合，从而研究了确定度集合对人类决策的辅助作用。结果表明，使用确定度集合来量化模型的不确定性对于人机合作决策和人工智能团队非常有帮助。

    Jan, 2024

  • 自洽的共形预测

    决策者使用机器学习进行决策时，在预测结果相同的情境下通常会采取相同的行动。符合性预测有助于决策者量化行动的结果不确定性，从而实现更好的风险管理。我们提出了自洽符合性预测，它能够生成既具有 Venn-Abers 校准的预测，又能在模型预测促使的行动条件下保持有效的符合性预测区间。我们的方法可以后期应用于任何黑盒预测模型，为特定行动提供严格的决策保证。数值实验表明我们的方法在区间效率和条件有效性之间取得了平衡。

    Feb, 2024

  • CERTIFAI：人工智能模型鲁棒性、透明度、可解释性和公平性的因果推断解释

    本文介绍了一个通用工具 CERTIFAI，可以应用于任何黑盒模型和任何类型的输入数据，通过生产接近输入但改变模型预测的 counterfactuals，探讨机器学习模型的鲁棒性、可解释性、透明性和公平性，并介绍了第一个黑盒模型鲁棒性分数 CERScore。

    May, 2019

  • 惩罚式逆概率度量在符合性分类中的应用

    通过引入 Penalized Inverse Probability (PIP) 和其正则化版本 RePIP 的非共形评分方式，该研究提出了一种可以同时优化效率和信息性的算法，通过农业机器人中作物和杂草图像分类任务的玩具示例和实证结果，展示了 PIP-based 共形分类器与其他非共形评分方式相比所表现出的预期行为，并在信息性和效率之间找到了良好的平衡。

    Jun, 2024

  • 共形在线模型聚合

    这篇论文介绍了一种在在线环境中通过投票将多个算法的预测集合结合起来的方法，从而解决了在 conformal prediction 中的模型选择和 / 或聚合问题。

    Mar, 2024

  • 基于符合预测和符合风险控制的自信目标检测：以铁路信号为例

    本文介绍了一种基于符合性预测的可靠和可信预测器的使用，以便于在实际场景中部署深度学习模型，并提供能够准确反映其不确定性的置信度估计。作者结合新颖的数据集和现代化的目标检测器反复测试了几种符合性方法，并基于符合风险控制提出了新的方法，以此为目的，展示出符合性预测框架在评估模型性能和为实现正式保证的不确定性边界提供实际指导的潜力。

    Apr, 2023

  • 评估基于变换预测集的 AI 辅助图像标注的实用性

    在高风险领域中部署深度神经网络时，由于缺乏可解释性，不确定性量化变得具有挑战性。本文通过大规模预注册实验，比较了使用符合性预测集合与 Top-1 和 Top-k 预测展示相比在 AI 辅助图像标注中表现的优势，并发现对易任务来说，预测集合与 Top-1 和 Top-k 展示的准确性相当或略少，但在标记超出分布范围的图像时，特别是当集合大小较小时，预测集合能够卓越地帮助人类进行标注。研究结果从实证角度指出符合性预测集合的实际挑战，并提供了将其纳入实际决策制定的启示。

    Jan, 2024