DNN 操作准确性的迭代评估与改进

Mar, 2023

Iterative Assessment and Improvement of DNN Operational Accuracy

Antonio Guerriero, Roberto Pietrantuono, Stefano Russo

TL;DR我们提出了 DAIC（DNN 评估和改进周期）方法，结合 “低成本” 在线伪预测和 “高成本” 离线抽样技术来估算和提高 DNN 系统的操作准确性，并将它们整合到 DNN 系统的迭代生命周期中。

Abstract

deep neural networks (DNN) are nowadays largely adopted in many application domains thanks to their human-like, or even superhuman, performance in specific tasks. However, due to unpredictable/unconsidered operating conditions, unexpected failures show up on field, making the performan

deep neural networks operational accuracy mlops daic machine learning systems

发现论文，激发创造

DeepSample：基于 DNN 的操作准确性评估测试

通过概率抽样，研究了五种新的基于抽样的测试技术以及其他三种先进技术，以实现对深度神经网络在运行中准确度的忠实和高置信度估计，从而降低成本。

Mar, 2024

通过条件加速操作 DNN 测试的效率

通过使用所学深度神经网络模型的表示进行筛选测试数据，借助交叉熵算法进行高维分布采样，可以有效地更加精确地测试神经网络模型的可靠性，需要的标签数据量大大减少。

Jun, 2019

网络 AIOps 中部署深度学习模型的质量监测和评估

该研究论文探讨了如何在网络管理中使用 AIOps 技术，通过简单而有效的技术对个体推理和多重推理中的整体模型质量进行评估和追踪。

Feb, 2022

通过准确率监测提高深度神经网络的可信度

本文介绍了一种基于神经网络的精度监测模型，可用于监测深度神经网络的真实推断精度，并提高深度神经网络在安全关键应用中的可信度。我们的方法对于图像分类和交通标志检测等多个数据集有效。

Jul, 2020

仪器与控制系统中集成的机器学习方法的动态模型无关可信度评估

通过将数据监督引入机器学习预测模型，我们提出了一种实时模型无关的方法，评估机器学习预测的相对可靠性，并通过针对操作数据集与训练数据集之间的差异来计算预测的相对可靠性，用以支持机器学习预测在常规插值任务中的可信度。

Aug, 2023

动态系统中深度神经网络在线自适应的控制理论技术

利用控制论技术，通过在线适应法更新深度神经网络参数，控制域偏移以及解决稳定性和迁移学习问题，提高深度神经网络基于学习的系统的性能和保证。

Feb, 2024

自主深度学习：面向动态环境的迭代学习方法

本文提出了一种深度连续学习算法 ADL，它采用灵活的结构，通过自构建网络结构从头开始构建网络。ADL 通过不同深度结构来解决灾难性遗忘问题，并提出了 NS 公式、DDS 和 MICI 方法来驱动隐藏节点增长和剪枝机制、检测数据流中的分布变化并消除冗余层。在九个常见的数据流问题上进行的测试表明，ADL 能够在维持网络结构自动构建的同时，比其他现有的连续学习方法更具实效性。

Oct, 2018

测试前向神经网络训练程序

该论文提出了一种名为 TheDeepChecker 的端到端基于属性的调试方法，以检测深度神经网络训练程序中的编码错误和系统失配，并表明其在检测准确性和深度学习故障覆盖面方面优于 Amazon SageMaker Debugger（SMD）的离线规则验证。

Apr, 2022

人工智能中的镜中镜效应：如何预测应用于超参数调整的神经网络的准确度

本文提出了一种基于神经网络的初始行为来预测其准确性的低成本策略，应用于超参数优化中。结果表明此方法通过使用支持向量机技术能够找到最优准确度对应的超参数设置。

Jun, 2019

增量学习中过去数据集的深度神经网络快速评估

通过提取参数值的梯度以及参数值的更新差异，我们提出了一种快速评估深度神经网络在过去数据集上准确性改变的新方法，并通过几个数据集的实验结果表明，该方法能够在恒定时间内估计额外训练对准确性的影响。

May, 2024