通过准确率监测提高深度神经网络的可信度

IJCAIJul, 2020

通过准确率监测提高深度神经网络的可信度

Increasing Trustworthiness of Deep Neural Networks via Accuracy Monitoring

Zhihui Shao, Jianyi Yang, Shaolei Ren

TL;DR本文介绍了一种基于神经网络的精度监测模型，可用于监测深度神经网络的真实推断精度，并提高深度神经网络在安全关键应用中的可信度。我们的方法对于图像分类和交通标志检测等多个数据集有效。

Abstract

inference accuracy of deep neural networks (DNNs) is a crucial performance metric, but can vary greatly in practice subject to actual test datasets and is typically unknown due to the lack of ground truth labels.

deep neural networks inference accuracy trustworthiness accuracy monitor model ensemble

发现论文，激发创造

利用模型可解释性和稳定性提高模型的鲁棒性

该研究探讨深度神经网络的可解释性，提出了一种基于 conductance 度量法将 DNN 的预测得分分解为隐藏单元贡献和通过二元分类器自动鉴别 DNN 错误预测的方法，该方法能够提高模型的鲁棒性。同时，加入 Wang 等人的思路，可以进一步提高错误预测的检测效果。

Oct, 2019

信任，但请验证：使用自监督探究来提高可信度

本文介绍了一种新的自我监督探测方法，该方法能够检查和减轻训练模型的过度置信问题，从而提高其可信度。此方法在信任相关任务 (误分类检测、校准和超出分布检测) 中得到了广泛验证和应用。

Feb, 2023

深度神经网络的置信度感知学习

本文提出了一种基于 Correctness Ranking Loss 的深度神经网络训练方法，可以对类别概率进行显式的正序排名，提高置信度预测。该方法易于实现，不需要额外的计算代价，适用于现有体系结构，并且在分类基准数据集上表现良好。同时，还对置信度估计相关的任务，如超出分布检测和主动学习，具有相同的可靠性。

Jul, 2020

DeepSample：基于 DNN 的操作准确性评估测试

通过概率抽样，研究了五种新的基于抽样的测试技术以及其他三种先进技术，以实现对深度神经网络在运行中准确度的忠实和高置信度估计，从而降低成本。

Mar, 2024

一种低成本的策略性监控方法，用于深度神经网络中的可扩展和可解释的错误检测

我们提出了一种高度紧凑的运行时监控方法，用于从仅有少量（甚至仅两个）隐藏层中提取选择性知识，并能有效地检测来自硬件内存和输入故障的静默数据损坏。该方法通过 strategically placed quantile markers 在受影响的网络层的激活分布中准确估计当前推断的异常情况，从而实现对正常和异常行为的可解释性分类。该技术在检测上实现了高达 96% 的精确度和 98% 的召回率，并且与最先进的异常检测技术相比，它需要最小的计算开销（仅为非监督推断时间的 0.3%）并有助于模型的可解释性。

Oct, 2023

训练神经网络的异常检测性能分析

本文分析了三种 in - 和 out-of-distribution 数据的分离方法及其性能，包括超级监督的应用及其训练过程中的性能评估，研究表明理解训练结果与监督性能与提高模型强健性密切相关，为安全应用提供了论据，并应用于两个额外的数据集。

Apr, 2022

深度神经网络模型在实践应用中的分析

本文对深度神经网络在计算机视觉领域中的重要应用指标进行全面分析，发现能耗与批次大小和架构无关，准确度和推断时间在双曲线关系中，能源约束是最大可实现准确度和模型复杂度的上限，操作次数是推断时间的可靠估计。

May, 2016

Monitizer：神经网络监控器的自动化设计与评估

神经网络在未见过的数据类型（分布外或 OOD）上的行为通常是不可预测的。检测输入是否为 OOD 对于神经网络的安全应用至关重要。本研究提出了一个工具，用于用户和神经网络监控器的开发者，实现了对给定输入神经网络的不同监控器的应用，并能够对监控器的超参数进行优化，进行实验评估和与其他方法的比较，同时促进了新的监控方法的开发。通过几个用户类型的使用案例以及对最近文献中不同方法的比较，我们演示了该工具的易用性。

May, 2024

DNN 操作准确性的迭代评估与改进

我们提出了 DAIC（DNN 评估和改进周期）方法，结合 “低成本” 在线伪预测和 “高成本” 离线抽样技术来估算和提高 DNN 系统的操作准确性，并将它们整合到 DNN 系统的迭代生命周期中。

Mar, 2023

运行时监测基于深度学习的感知

深度神经网络在复杂感知系统方面起着重要作用，但为了确保其功能不足不会造成危害，除了静态验证和测试方法外，还需要运行时验证技术来检测关键事件、诊断问题并强制执行要求。本教程介绍了文献中提出的技术方法，包括机器学习界经典方法和形式方法界的一些技术，同时强调了严格设计监视器的重要性，其中操作域外的数据可用性起着重要作用。

Oct, 2023