深度学习分类器性能的综合评估揭示出令人惊讶的缺乏稳健性

Aug, 2023

深度学习分类器性能的综合评估揭示出令人惊讶的缺乏稳健性

Comprehensive Assessment of the Performance of Deep Learning Classifiers Reveals a Surprising Lack of Robustness

Michael W. Spratling

TL;DR可靠的评估方法是发展稳健可靠的机器学习模型的必要第一步，本文提出使用广泛类型的数据进行基准测试以评估分类器性能，并发现目前的深度神经网络在某些数据类型上容易犯错，因此需要更全面的测试方法以开发更稳健的机器学习方法。

Abstract

Reliable and robust evaluation methods are a necessary first step towards developing machine learning models that are themselves robust and reliable. Unfortunately, current evaluation protocols typically used to assess classifiers fail to comprehensively evaluate performance as they te

reliable evaluation methods machine learning models classifier performance bench-marking performance robust machine learning methods

发现论文，激发创造

对抗鲁棒性基准测试

本研究旨在建立一个全面、严谨、连贯的标准来评估对抗性鲁棒性，通过两个鲁棒性曲线作为公正的评估标准来进行大规模实验，全面掌握攻击与防御方法的表现并得出重要结论和未来研究的启示。

Dec, 2019

评估用于深度神经网络的测试选择方法的稳健性

通过探索测试选择方法的失败情况和弊端，本文证实了这些方法在故障检测和性能估计方面存在可靠性问题，并提出了相应的解决方案。

Jul, 2023

通过鲁棒性评估和操作属性评估深度学习分类器的可靠性

本研究提出一种基于深度学习分类器的可靠性评估方法，通过对输入空间进行细分，并结合运行实例的可靠性评估和操作特点进行分析，评估分类器的误分概率并提高评估的可信度。

Jun, 2021

探索神经模型分类鲁棒性的精确观察

深度学习和鲁棒性在安全关键应用中的测评方法以及概率鲁棒性的权衡和使用条件进行了比较分析，提出了一种基于假设检验的直观实用测量标准，并将其整合到 TorchAttacks 库中，为对模型鲁棒性的理解做出了贡献。

Apr, 2024

野外细粒度图像分类

本文从层次知识入手，进行细粒度分类实验，验证模型在此类型下的稳健性，并通过其他方法解释和评估模型的错误分类行为。

Mar, 2023

机器学习系统可靠性的整体评估

该研究提出了一个综合评估机器学习系统可靠性的方法，侧重考虑诸如敌对攻击、性能下降以及算法技术等方面的问题，并对 500 多个模型进行了分析，为未来的研究和发展提供了指导。

Jul, 2023

图像识别中神经网络稳健性评估综述

近年来，对神经网络的稳健性评估引起了极大关注，深度学习的稳健性问题特别突出，研究人员致力于在图像识别任务中评估稳健性，在此综述中，我们对神经网络评估中敌对稳健性和扰动稳健性进行了详细研究，分析当前研究和标准，提供了图像识别中稳健性评估的广泛概述，分析了概念、度量标准和评估方法，研究了用于度量图像扰动程度的扰动度量和范围表示，以及特定于分类模型稳健性条件的稳健度量，还讨论了现有方法的优势和局限性，并提供了一些未来研究的潜在方向。

Apr, 2024

基于基础模型的鲁棒性：利用预训练模型进行鲁棒图像模型评估

机器学习中引入了一种新的鲁棒性测量方法，通过与基准模型相比较直接评估图像分类模型的表现；此方法使用新样本扩展图像数据集以评估模型的鲁棒性性能，并揭示模型行为和评估策略。

Aug, 2023

探索集成方法提高文本分类器模型鲁棒性

本文通过分析一系列偏置特征并证明没有单一的模型适用于所有情况来改善模型的鲁棒性，进一步表明通过选择合适的偏置模型，我们可以获得比更复杂的模型设计基准更好的鲁棒性结果。

Oct, 2022

如何在没有数据的情况下识别出优秀的深度神经网络分类器

该论文提出了一种无需测试数据即可评估训练后 DNN 分类器的质量的方法，通过在输入空间中迭代创建每个类别的类原型来实现，这些原型和其特征关系可用于揭示分类器的质量，并开发了两个使用原型特征和对应于每个原型的对抗性示例的质量度量指标，其准确性与使用测试数据获得的准确性成正比。

May, 2023