May, 2024

Monitizer：神经网络监控器的自动化设计与评估

PDF
TL;DR神经网络在未见过的数据类型（分布外或 OOD）上的行为通常是不可预测的。检测输入是否为 OOD 对于神经网络的安全应用至关重要。本研究提出了一个工具，用于用户和神经网络监控器的开发者，实现了对给定输入神经网络的不同监控器的应用，并能够对监控器的超参数进行优化，进行实验评估和与其他方法的比较，同时促进了新的监控方法的开发。通过几个用户类型的使用案例以及对最近文献中不同方法的比较，我们演示了该工具的易用性。
neural networksout-of-distributionruntime monitoringsafety-critical systemmonitoring approaches
发现论文，激发创造
  • 拓展域检测不是你所需要的全部

    本文讨论了深度神经网络在安全临界系统中的应用，提出了基于模型范围的监控方法，并与常用的基于数据范围的监控方法进行了比较，证明了前者具有更高的有效性，并发现删除错误训练数据样本可以帮助更好地训练监控。

    Nov, 2022

  • 运行时监测基于深度学习的感知

    深度神经网络在复杂感知系统方面起着重要作用，但为了确保其功能不足不会造成危害，除了静态验证和测试方法外，还需要运行时验证技术来检测关键事件、诊断问题并强制执行要求。本教程介绍了文献中提出的技术方法，包括机器学习界经典方法和形式方法界的一些技术，同时强调了严格设计监视器的重要性，其中操作域外的数据可用性起着重要作用。

    Oct, 2023

  • 朝着外部分布检测的现实基准

    深度神经网络在各种技术和服务中得到越来越广泛的应用，但其容易受到来自训练集不同分布的样本的干扰，而常见的解决方法是使深度神经网络具备检测这种样本的能力。本文提出了一种基于 ImageNet 和 Places365 的全面评估标准，根据与训练集的语义相似性，将个别类别分为内部分布和外部分布，通过不同的技术确定哪些类别应被视为内部分布，得到具备不同性质的评估标准。不同的 ODD 检测技术在不同的评估标准下的实验结果表明，它们的有效性取决于所选择的评估标准，而基于置信度的技术在接近 ODD 样本上可能优于基于分类器的技术。

    Apr, 2024

  • 训练神经网络的异常检测性能分析

    本文分析了三种 in - 和 out-of-distribution 数据的分离方法及其性能，包括超级监督的应用及其训练过程中的性能评估，研究表明理解训练结果与监督性能与提高模型强健性密切相关，为安全应用提供了论据，并应用于两个额外的数据集。

    Apr, 2022

  • 关于解决离分布检测评估方案中的随机性的问题

    本研究针对 Deep Neural Networks 对于训练集以外数据的表现会出现不可预测情况，提出 out-of-distribution detection 机制，并通过 Monte Carlo 方法推测性能，指出当前的 evaluation protocols 可能无法可靠估计 OOD 方法的预期表现。

    Mar, 2022

  • 通过准确率监测提高深度神经网络的可信度

    本文介绍了一种基于神经网络的精度监测模型，可用于监测深度神经网络的真实推断精度，并提高深度神经网络在安全关键应用中的可信度。我们的方法对于图像分类和交通标志检测等多个数据集有效。

    Jul, 2020

  • 可证明鲁棒性的无需付出昂贵代价的异常检测

    研究使用机器学习技术的安全关键系统需要可靠的不确定性评估。本研究发现，深度神经网络在处理分布外数据时可能会产生过度自信的预测。本研究提出了一种具有保护分布外数据和高准确度的分类器，并提供所有实验代码。

    Jun, 2021

  • 自动驾驶数据集上的离群样本检测性能评估

    通过应用基于最可能的类条件高斯分布的 Mahalanobis 距离作为 OOD 分数来评估拒绝语义分割 DNN 的输出，该研究发现即使在未知数据集上应用，也可以显著降低分类风险，但会以像素覆盖率为代价。这些发现的适用性将有助于合法化安全措施并推动其在汽车感知中的安全使用的论证。

    Jan, 2024

  • Model2Detector：使用少量梯度步骤拓宽信息瓶颈以进行外部分布检测

    通过信息论角度分析，本文提出一种将训练好的神经网络转换为 ODD 检测器的方法，该方法使用少量梯度下降步骤，且在流行的图像数据集上准确性优于现有方法，并且减少了计算复杂度。

    Feb, 2022

  • 我们能否抵御未知攻击？神经网络监测中的阈值选择实证研究

    使用神经网络进行运行时监测在关键系统中变得越来越重要，以排除推理过程中的不安全预测。本研究通过对多个图像数据集进行严格实验，调查了监测器在处理未知威胁（未在阈值调整期间出现）方面的有效性，以及将通用威胁整合到阈值优化方案中是否可以增强监测器的鲁棒性。

    May, 2024