ISimDL：用于深度学习鲁棒性评估的重要性采样驱动故障注入模拟加速

Mar, 2023

ISimDL：用于深度学习鲁棒性评估的重要性采样驱动故障注入模拟加速

ISimDL: Importance Sampling-Driven Acceleration of Fault Injection Simulations for Evaluating the Robustness of Deep Learning

PDF

Alessio Colucci, Andreas Steininger, Muhammad Shafique

TL;DR本文提出 ISimDL 这一新的方法，通过神经元灵敏度生成重要性抽样型的错误场景，以提高对深度学习系统鲁棒性的分析效率，并基于此提出一种名为 Fault Aware Training（FAT）的新方法，该方法可减少 12 倍以上的精度降低开销。

Abstract

deep learning (DL) systems have proliferated in many applications, requiring specialized hardware accelerators and chips. In the nano-era, devices have become increasingly more susceptible to permanent and transient faults. Therefore, we need an efficient methodology for analyzing the

deep learning resilience fault injection neuron sensitivity importance sampling

发现论文，激发创造

特别会议：DNN 加速器的逼近和容错性

本文研究了 DNN 加速器的逼近计算和容错能力，提出使用逼近算术电路代替昂贵的故障注入检测，并开发了 GPU 模拟方法，同时通过网络故障的传播和掩蔽来实现精细化容错分析

May, 2023

深度神经网络训练的有偏重要性采样

本文提出一种有效的计算深度学习模型中 loss value 的方法，它使用小型模型在并行训练时提高了深度学习优化中重要抽样的应用。结果表明，此方法在测试深度卷积和递归神经网络的图像分类和语言建模任务时取得了良好的普适性。

May, 2017

基于重要性的深度学习系统测试

本文介绍了一种名为 DeepImportance 的系统化测试方法，该方法基于 Importance-Driven (IDC) 测试准则，可以用于评估深度学习系统在安全关键的应用中的鲁棒性表现，并且可以支持工程师构建更加稳健的深度学习系统。

Feb, 2020

基于扩散的故障采样技术对于网络物理系统

在高维领域中验证安全关键的自主系统（如机器人）是一个重大挑战。我们提出使用条件降噪扩散模型对故障分布进行采样，并经验证在高维机器人验证任务中相比现有的黑盒技术，能够提高采样效率和模态覆盖。

Jun, 2024

使用神经网络偏差势加速稀有事件采样

该研究论文介绍了一种将重要性抽样与深度神经网络相结合的实用方法，提高了稀有事件的采样效率，并在计算物理学和材料科学领域对稀有事件进行了研究和比较。

Jan, 2024

并非所有样本都是相等的：使用重要性采样的深度学习

本研究提出了一种基于重要性采样的计算优化方案，该方案能够减少深度神经网络训练过程中冗余计算，提升模型的训练效果并有效降低损失。实验结果显示，该方案能够在相同的时间预算下，将训练损失降低一个数量级，并提高测试误差 5％至 17％。

Mar, 2018

一种深度强化学习方法用于罕见事件估计

本研究旨在提出适用于顺序决策系统的两种自适应重要性采样算法，以高效地评估罕见事件的概率。该方法基于状态依赖的提议分布与目标分布之间的 Kullback-Leibler 散度最小化，用于减少精度方面的误差和处理多峰性提议分布的问题，并将多重重要性采样应用于多种基线以显示准确性改进。

Nov, 2022

自适应采样与重要性采样的高效梯度估计

通过提出的自适应方法和重要性采样方法，在机器学习框架中有效地整合了重要性函数，并仅通过输出层的损失梯度提出了一个简化的重要性函数，以实现在分类和回归任务中更好的收敛性和最小的计算开销。

Nov, 2023

神经重要性采样

本文介绍了基于深度神经网络的非线性独立分量估计（NICE）用于 Monte Carlo 积分中样本生成的应用，并介绍了分段多项式耦合变换、一块编码、基于梯度下降的 KL 和 χ2 散度优化等提高模型性能的改进方案。通过应用于生成自然图像以及在光传输模拟中的两种应用，证明了该方法在不同维度积分领域下具有快速、准确、高性能等特点。

Aug, 2018

分布式重要性采样在 SGD 中的方差减少

该研究提出一种分布式深度学习框架，其中一组工作者并行搜索最具信息性的示例，而单个工作者则使用重要性抽样方法更新模型。实验证明，当采样提议与梯度的 L2 范数成正比时，该方法可以减少梯度方差，即使在跨机器同步成本不可忽略且重要性抽样因子不会立即更新的情况下也是如此。

Nov, 2015