本研究提出了一种新的即时参数更新方法,通过消除每层计算梯度的需要来加速学习、避免梯度消失问题,并在基准数据集上优于最先进的方法,为高效有效的深度神经网络训练提供了一个有希望的方向。
Aug, 2023
本文介绍了一种基于神经网络的精度监测模型,可用于监测深度神经网络的真实推断精度,并提高深度神经网络在安全关键应用中的可信度。我们的方法对于图像分类和交通标志检测等多个数据集有效。
Jul, 2020
我们提出了 DAIC(DNN 评估和改进周期)方法,结合 “低成本” 在线伪预测和 “高成本” 离线抽样技术来估算和提高 DNN 系统的操作准确性,并将它们整合到 DNN 系统的迭代生命周期中。
Mar, 2023
通过概率抽样,研究了五种新的基于抽样的测试技术以及其他三种先进技术,以实现对深度神经网络在运行中准确度的忠实和高置信度估计,从而降低成本。
Mar, 2024
本文研究了工业机器学习中的深度神经网络在不断学习过程中优化性能的方法,使用贝叶斯方法更新后验概率,与传统方法相比实验表明可以取得更好的效果。
Feb, 2018
通过使用所学深度神经网络模型的表示进行筛选测试数据,借助交叉熵算法进行高维分布采样,可以有效地更加精确地测试神经网络模型的可靠性,需要的标签数据量大大减少。
Jun, 2019
提出了一种算法来估计深度神经网络的训练误差和测试误差之间的差距,该算法不需要测试数据集,使用拓扑学指标来识别网络的泛化能力并计算其对未见样本的测试误差。
May, 2020
本文旨在通过情感测量的方式来识别深度神经网络模型的弱点。通过三种情感测量指标:置信度、不确定性和惊奇度的比较,发现这些指标能够有效地通过对模型计算的分析来辨识出暴露 DNN 行为不当的输入。
Jan, 2019
我们介绍了一种名为 TracIn 的方法,该方法通过跟踪训练示例对模型预测的影响来计算模型的影响。与以前提出的方法相比,TracIn 简单易实现,适用于任何使用随机梯度下降或其变体训练的机器学习模型,且可广泛应用于研究和改进训练数据的过程。
Feb, 2020
一项新的增量学习方法使用少量的示例集合来学习深层神经网络,解决了深度学习中的灾难性忘记问题,在 CIFAR-100 和 ImageNet(ILSVRC 2012)图像分类数据集上取得了最先进的成果。
Jul, 2018