我们能否抵御未知攻击？神经网络监测中的阈值选择实证研究

May, 2024

我们能否抵御未知攻击？神经网络监测中的阈值选择实证研究

Can we Defend Against the Unknown? An Empirical Study About Threshold Selection for Neural Network Monitoring

Khoi Tran Dang, Kevin Delmas, Jérémie Guiochet, Joris Guérin

TL;DR使用神经网络进行运行时监测在关键系统中变得越来越重要，以排除推理过程中的不安全预测。本研究通过对多个图像数据集进行严格实验，调查了监测器在处理未知威胁（未在阈值调整期间出现）方面的有效性，以及将通用威胁整合到阈值优化方案中是否可以增强监测器的鲁棒性。

Abstract

With the increasing use of neural networks in critical systems, runtime monitoring becomes essential to reject unsafe predictions during inference. Various techniques have emerged to establish rejection scores th

neural networks runtime monitoring rejection scores threshold optimization unforeseen threats

发现论文，激发创造

阈值式新颖检测的持续改进

在动态、开放的情境中评估时，神经网络在检测未知类别时遇到困难。本文提出了一种新方法，通过线性搜索和基于样本交叉验证选择门槛值，自动适应性地检测新颖性，从而提高 MNIST、Fashion MNIST 和 CIFAR-10 的总准确率。

Sep, 2023

运行时监测基于深度学习的感知

深度神经网络在复杂感知系统方面起着重要作用，但为了确保其功能不足不会造成危害，除了静态验证和测试方法外，还需要运行时验证技术来检测关键事件、诊断问题并强制执行要求。本教程介绍了文献中提出的技术方法，包括机器学习界经典方法和形式方法界的一些技术，同时强调了严格设计监视器的重要性，其中操作域外的数据可用性起着重要作用。

Oct, 2023

Monitizer：神经网络监控器的自动化设计与评估

神经网络在未见过的数据类型（分布外或 OOD）上的行为通常是不可预测的。检测输入是否为 OOD 对于神经网络的安全应用至关重要。本研究提出了一个工具，用于用户和神经网络监控器的开发者，实现了对给定输入神经网络的不同监控器的应用，并能够对监控器的超参数进行优化，进行实验评估和与其他方法的比较，同时促进了新的监控方法的开发。通过几个用户类型的使用案例以及对最近文献中不同方法的比较，我们演示了该工具的易用性。

May, 2024

拓展域检测不是你所需要的全部

本文讨论了深度神经网络在安全临界系统中的应用，提出了基于模型范围的监控方法，并与常用的基于数据范围的监控方法进行了比较，证明了前者具有更高的有效性，并发现删除错误训练数据样本可以帮助更好地训练监控。

Nov, 2022

一种低成本的策略性监控方法，用于深度神经网络中的可扩展和可解释的错误检测

我们提出了一种高度紧凑的运行时监控方法，用于从仅有少量（甚至仅两个）隐藏层中提取选择性知识，并能有效地检测来自硬件内存和输入故障的静默数据损坏。该方法通过 strategically placed quantile markers 在受影响的网络层的激活分布中准确估计当前推断的异常情况，从而实现对正常和异常行为的可解释性分类。该技术在检测上实现了高达 96% 的精确度和 98% 的召回率，并且与最先进的异常检测技术相比，它需要最小的计算开销（仅为非监督推断时间的 0.3%）并有助于模型的可解释性。

Oct, 2023

面向成本敏感的基于不确定性的物体检测故障识别

为了提高对象检测的准确性和安全性，研究提出了一种基于阈值和不确定性的成本敏感的对象检测框架，用于避免错误检测。通过分析不同类型的不确定性与检测错误之间的相关性和成本，该方法自动优化阈值以最大化对指定预算的错误识别率，在自动驾驶数据集上的评估结果表明，该方法较传统方法提高了 36-60% 的错误识别率。

Apr, 2024

机器学习安全监控的统一评估

本文介绍了三种统一的基于安全性的指标，用于衡量机器学习在关键自治系统中应用的安全性，包括安全收益、剩余安全缺陷和对系统性能带来的负面影响，并以分类、无人机着陆和自动驾驶三个用例进行了实验验证。

Aug, 2022

保持距离：机器学习监控中的采样和距离阈值确定

本研究提出一种基于统计测试的距离度量方式，以实现对机器学习 (ML) 组件运行情况的监控，从而确保其可靠性和安全性。本研究同时提出一种实用的解决方案，并在交通标志识别和 CARLA 汽车模拟器等实例中进行了演示。

Jul, 2022

监控机器学习模型：在线检测相关偏差

该研究提出了一种序列监测方案，通过考虑测量模型质量的时间依赖性，减少不必要的警报并解决多重测试问题，从而在检测模型质量相关变化方面优于基准方法。此研究为在动态环境中区分小幅波动和有意义的模型性能退化提供了实用解决方案，确保机器学习模型的可靠性。

Sep, 2023

神经网络控制系统的运行时监控与故障检测

通过应用深度学习方法，本研究论文考虑在干扰和测量噪声的存在下增强神经网络控制的非线性系统的运行时安全性。设计了一个稳健稳定的区间观测器，用于为神经网络、非线性函数和系统状态生成确切的下界和上界。所获得的区间用于实时监控系统安全性并检测系统输出或执行器中的故障。通过模拟自适应巡航控制车辆系统，演示了提出设计的有效性。

Mar, 2024