IJCAIJun, 2021

通过鲁棒性评估和操作属性评估深度学习分类器的可靠性

PDF
TL;DR本研究提出一种基于深度学习分类器的可靠性评估方法，通过对输入空间进行细分，并结合运行实例的可靠性评估和操作特点进行分析，评估分类器的误分概率并提高评估的可信度。
deep learningreliability assessmentrobustness evaluationoperational profilemisclassification probability
发现论文，激发创造
  • 深度学习分类器性能的综合评估揭示出令人惊讶的缺乏稳健性

    可靠的评估方法是发展稳健可靠的机器学习模型的必要第一步，本文提出使用广泛类型的数据进行基准测试以评估分类器性能，并发现目前的深度神经网络在某些数据类型上容易犯错，因此需要更全面的测试方法以开发更稳健的机器学习方法。

    Aug, 2023

  • 机器学习系统可靠性的整体评估

    该研究提出了一个综合评估机器学习系统可靠性的方法，侧重考虑诸如敌对攻击、性能下降以及算法技术等方面的问题，并对 500 多个模型进行了分析，为未来的研究和发展提供了指导。

    Jul, 2023

  • 探索神经模型分类鲁棒性的精确观察

    深度学习和鲁棒性在安全关键应用中的测评方法以及概率鲁棒性的权衡和使用条件进行了比较分析，提出了一种基于假设检验的直观实用测量标准，并将其整合到 TorchAttacks 库中，为对模型鲁棒性的理解做出了贡献。

    Apr, 2024

  • 仪器与控制系统中集成的机器学习方法的动态模型无关可信度评估

    通过将数据监督引入机器学习预测模型，我们提出了一种实时模型无关的方法，评估机器学习预测的相对可靠性，并通过针对操作数据集与训练数据集之间的差异来计算预测的相对可靠性，用以支持机器学习预测在常规插值任务中的可信度。

    Aug, 2023

  • 越界：深度学习及其 (非) 鲁棒性的严格理解

    本研究回顾了深度学习的鲁棒性问题，尤其是从近似理论到统计学习理论的关注和尝试，并回顾了贝叶斯深度学习作为不确定性量化和严格可解释性的一种手段。

    Jul, 2023

  • 深度学习模型的整体对抗鲁棒性

    该研究论文综述了深度学习模型对抗鲁棒性的研究主题和基本原则，包括攻击、防御、验证和新应用。

    Feb, 2022

  • 科学和深度学习中的可靠性与解释性

    通过深入的认识深度神经网络模型与传统科学模型之间的差异以及对可靠性评估可能产生的影响，本文强调了模型的假设的普遍作用和认识复杂性与可解释性之间的紧密关系，并提出了一些潜在的解决途径。

    Jan, 2024

  • 深度学习模型在网络物理系统中的鲁棒性和泛化性能比较研究

    本研究评估了深度学习模型在多变量时间序列数据方面的稳健性和泛化性能，发现某些 DL 模型体系结构和训练技术在处理各种干扰和超出分布样本时表现更为出色，这为开发在实际 CPS 应用中能够提供可靠且鲁棒性能的 DL 模型带来了重要的启示。

    Jun, 2023

  • 使用深度学习的临床风险分层模型不稳定性

    研究了在电子健康记录上训练不同模型的稳定性，证明相同模型在相同训练数据上的重复训练会产生显著不同的结果，并提出了衡量模型的稳定性和提高模型稳定性的应对策略。

    Nov, 2022

  • PRoA：一种针对功能扰动的概率稳健性评估方法

    本文提出一种新的概率鲁棒性评估方法 (PR0A)，用于测量深度学习模型对功能扰动的鲁棒性，可以提供模型失败的概率性保证。该方法在实际中具有较高的效力和灵活性，并且相比于已有的基准线，它可以与各种大规模深度神经网络进行良好的扩展。

    Jul, 2022