深度神经网络选择性分类基准测试

Jan, 2024

深度神经网络选择性分类基准测试

Deep Neural Network Benchmarks for Selective Classification

Andrea Pugnana, Lorenzo Perini, Jesse Davis, Salvatore Ruggieri

TL;DR通过对包含图像和表格数据的多样化数据集进行实证评估，该研究对 18 种基线模型进行基准测试，比较了它们在选择错误率、实证覆盖率、被拒绝实例类别分布以及在分布外实例上的性能等多个方面的表现，结果显示没有一个明确的最佳方法，最好的方法取决于用户的目标。

Abstract

With the increasing deployment of machine learning models in many socially-sensitive tasks, there is a growing demand for reliable and trustworthy predictions. One way to accomplish these requirements is to allow a model to abstain from making a prediction when there is a high risk of

machine learning models reliable predictions selective classification deep neural network architectures benchmarking

发现论文，激发创造

深度神经网络的选择性分类

本文提出了一种构造选择分类器的方法，可在风险可控的情况下使用深度神经网络进行分类，解决了在深度神经网络中使用拒绝选项技术的问题，有效提高了分类器性能，成功实现了在 ImageNet 上顶部 5 项分类的 2% 错误率，并且测试覆盖率达到近 60%，为深度神经网络在关键应用中的应用提供了可能性。

May, 2017

朝着更好的选择性分类

本文提出了一种在分类器内部实现选择机制的方法与一种基于熵的正则化器，并取得了新的最高水平表现。

Jun, 2022

层次化的选择性分类

部署深度神经网络用于风险敏感任务需要一个不确定性估计机制。本文介绍了分层选择分类，将选择分类扩展到分层环境中。我们的方法利用类别关系的固有结构，使模型在面临不确定性时减少其预测的特异性。本文首先形式化了分层风险和覆盖，并介绍了分层风险覆盖曲线。接下来，我们开发了针对分层选择分类的算法（也称为 “推理规则”），并提出了一种能够以高概率保证目标准确性约束的高效算法。最后，我们对一千多个 ImageNet 分类器进行了大量的实证研究，揭示了诸如 CLIP、ImageNet21k 预训练和知识蒸馏等训练制度提升了分层选择性能。

May, 2024

选择性分类可能放大群组间的差异

本文研究了分类模型的选择性分类方法，发现在存在虚假相关性时，选择性分类可以提高平均准确度，但会放大不同群体之间的准确度差异。我们的分析表明，对于对称边缘分布，选择性分类是通过完全覆盖（即没有犹豫）下的准确度和分布是否满足左对数凹性质来确定改善或恶化准确度。基于我们的分析，我们训练了分布稳健模型，并表明选择性分类可以在这些模型上统一改进每个群体的准确性。

Oct, 2020

SelectiveNet：具有集成拒绝选项的深度神经网络

本论文介绍了 SelectiveNet，这是一种有集成拒绝选项的深度神经架构，通过同时优化分类（或回归）和拒绝，得到了一个在覆盖域上优化的深度神经网络，实验表明，SelectiveNet 在多个分类和回归数据集上均获得了改进的风险覆盖权衡效果，从而达到了深度选择分类的新的最佳结果。

Jan, 2019

自信感感知的对比学习用于选择性分类

选择性分类是在高风险场景中提高安全性和可靠性的一种方法，本研究提出了一种基于置信度感知对比学习的新型选择性分类模型，该模型通过改进特征层次来提高选择性分类的性能，实验证明它明显降低了选择性风险。

Jun, 2024

训练知道自己不知道什么的私有模型

通过研究选择性分类器在差分隐私约束下的效果，探讨深度学习模型的可靠性及隐私泄漏问题，发现最近的一种基于现成的深度学习模型生成检查点的方法在差分隐私下更为合适，使用差分隐私不仅会降低模型的效能，而且在隐私预算降低时需要付出相当大的覆盖成本。

May, 2023

评估用于深度神经网络的测试选择方法的稳健性

通过探索测试选择方法的失败情况和弊端，本文证实了这些方法在故障检测和性能估计方面存在可靠性问题，并提出了相应的解决方案。

Jul, 2023

基于不确定性估计的聚焦式回归模型无关解释

该研究提出了一种利用模型非参数不确定性估计的选择性回归方法，通过全面的基准测试在 69 个数据集上展示了该框架优于现有选择性回归方法的性能，并使用可解释的人工智能技术对选择性回归的动因进行了理解。

Nov, 2023

一致性预测的选择性集成

通过引入选择性集合来减轻模型的不一致性，使用随机选定的起始条件训练一组模型的预测上执行假设检验；在这些情况下，选择性集合可以放弃不一致预测结果并在指定的置信水平下达成一致结果，多个基准数据集上展示出零一致性预测点和低至 1.5％的放弃率。

Nov, 2021