运行时监测基于深度学习的感知

Oct, 2023

Runtime Monitoring DNN-Based Perception

Chih-Hong Cheng, Michael Luttenberger, Rongjie Yan

TL;DR深度神经网络在复杂感知系统方面起着重要作用，但为了确保其功能不足不会造成危害，除了静态验证和测试方法外，还需要运行时验证技术来检测关键事件、诊断问题并强制执行要求。本教程介绍了文献中提出的技术方法，包括机器学习界经典方法和形式方法界的一些技术，同时强调了严格设计监视器的重要性，其中操作域外的数据可用性起着重要作用。

Abstract

deep neural networks (DNNs) are instrumental in realizing complex perception systems. As many of these applications are safety-critical by design, engineering rigor is required to ensure that the functional insufficiency of the DNN-based perception is not the source of harm. In additio

deep neural networks safety-critical applications runtime verification techniques classical methods formal methods

发现论文，激发创造

感知系统监测：基于确定性、概率性和基于学习的故障检测与识别

本文研究了感知系统的运行时监测，提出了一个基于诊断图的故障检测和识别框架，并提供了一系列基于诊断图的算法来执行故障检测和识别。通过实验证明提出的系统监控具有潜在的在现实自动驾驶场景中预防事故的能力，并且计算负载极小。

May, 2022

基于视觉的自主系统的闭环分析：以案例为例

本文应用正式的概率分析技术对一种通过感知深度神经网络（DNN）引导飞机滑行的实验自主系统进行了案例研究，通过使用代表性图像数据集计算 DNN 的混淆矩阵来替换摄像机和网络，构建紧凑的概率抽象，以解决感知 DNN、传感器和环境条件的复杂性所带来的挑战，并展示了如何利用本地、DNN 特定的分析作为运行时保护，以提高整个系统的安全性。

Feb, 2023

神经网络控制系统的运行时监控与故障检测

通过应用深度学习方法，本研究论文考虑在干扰和测量噪声的存在下增强神经网络控制的非线性系统的运行时安全性。设计了一个稳健稳定的区间观测器，用于为神经网络、非线性函数和系统状态生成确切的下界和上界。所获得的区间用于实时监控系统安全性并检测系统输出或执行器中的故障。通过模拟自适应巡航控制车辆系统，演示了提出设计的有效性。

Mar, 2024

Monitizer：神经网络监控器的自动化设计与评估

神经网络在未见过的数据类型（分布外或 OOD）上的行为通常是不可预测的。检测输入是否为 OOD 对于神经网络的安全应用至关重要。本研究提出了一个工具，用于用户和神经网络监控器的开发者，实现了对给定输入神经网络的不同监控器的应用，并能够对监控器的超参数进行优化，进行实验评估和与其他方法的比较，同时促进了新的监控方法的开发。通过几个用户类型的使用案例以及对最近文献中不同方法的比较，我们演示了该工具的易用性。

May, 2024

感知可视化：透过深度神经网络的视角看世界

该论文的研究内容主要涵盖了人工智能、深度神经网络、可解释 AI、视知觉技术以及深度模型的调试等领域。论文提出的 Perception Visualization 技术通过可视化深度模型对于输入图像的感知来解释模型预测结果，研究发现人类能够更好地理解和预测系统决策，从而使深度模型的调试和部署更加可靠。

Apr, 2022

用于验证学习增强自主系统的假设生成

介绍了一种利用自动综合假设的方法，对基于深度神经网络的自主系统的安全属性进行形式化验证，生成最弱的假设并将其用作运行时监视器以保证整个系统的安全性，在一个来自自主飞行器领域的复杂视觉感知 DNN 案例上实现了该方法。

May, 2023

计算机视觉中的人类感知

本文研究计算机视觉、深度神经网络（DNN）、人类视觉感知和无体系结构视觉学习之间的联系，并发现 DNN 计算可用于估计感知损失，并与有趣的理论观点一致，即人类感知的特性是视觉学习无体系结构的结果。

Jan, 2017

测试前向神经网络训练程序

该论文提出了一种名为 TheDeepChecker 的端到端基于属性的调试方法，以检测深度神经网络训练程序中的编码错误和系统失配，并表明其在检测准确性和深度学习故障覆盖面方面优于 Amazon SageMaker Debugger（SMD）的离线规则验证。

Apr, 2022

验证深度学习对于超出分布领域的泛化能力

通过使用 DNN 验证技术，我们引入了一种新的方法来识别具有稳健泛化能力的 DNN 决策规则，并在真实世界环境中进行了广泛评估，为部署 DNN 驱动系统提供了新的验证目标。

Jun, 2024

通过准确率监测提高深度神经网络的可信度

本文介绍了一种基于神经网络的精度监测模型，可用于监测深度神经网络的真实推断精度，并提高深度神经网络在安全关键应用中的可信度。我们的方法对于图像分类和交通标志检测等多个数据集有效。

Jul, 2020