May, 2024

基于参数容易受损强化和修剪的卷积神经网络的成本效益容错

PDF
TL;DR本文介绍了一种适用于卷积神经网络的模型级加固方法，通过将纠错直接集成到神经网络中来提高其容错性。该方法与硬件无关且不需要对底层加速器设备进行任何更改。通过分析参数的脆弱性，该方法能够复制一些选择性的滤波器 / 神经元，以便通过高效且稳健的纠错层有效地对其输出通道进行纠正。该方法与基于 TMR 的修复几乎具有相当的容错性能，但开销显著减少。此外，还提出了一种基于参数脆弱性的经济实惠的剪枝技术，优于传统的剪枝方法，能够生成更小且精度损失可忽略的网络。值得注意的是，经过加固的剪枝型卷积神经网络的性能比经过加固但未剪枝的网络快达 24%。
发现论文，激发创造
  • 深度神经网络硬件故障攻击中的无恩劣化

    本研究探讨了硬件攻击给神经网络的参数带来的影响及其耐受能力，发现大部分模型对单一位比特翻转都有 10% 以上的分类精度下降，结果揭示了神经网络鲁棒性的局限性并提出了未来的研究方向。

    Jun, 2019

  • 零开销的故障感知设计和训练以提高 DNN 的可靠性

    本文提出一种针对深度神经网络在训练和模型设计时提高其可靠性的解决方案，旨在解决硬件故障导致对模型预测出现错误等问题。在研究中通过 DNN 重新设计、重新训练等方式，提出三种零附加成本的解决方案，可以在一定程度上提高 DNNs 对于瞬态故障的可靠性，并通过广泛的消融研究量化了每种硬化组件的性能提升。

    May, 2022

  • 紧凑且稳健的深度神经网络

    本文研究了网络剪枝策略的扩展，力图在保留网络的鲁棒性的同时设计更紧凑的神经网络，并基于对现有策略的缺陷进行改进，最终在 CIFAR-10 数据集上取得了不俗的成绩。

    Jun, 2019

  • 面向卷积神经网络的快速准确软错误仿真

    本文提出了一种基于误差模拟引擎的可靠性分析框架，通过利用从详细的故障注入活动中提取的一组经过验证的误差模型，定义卷积神经网络操作器输出的损坏模式，并在故障注入和错误模拟之间架起了一座桥梁，实现了结合两者优势的目的。实验结果表明，与 SASSIFI 相比，本文提出的方法在故障效应的函数错误模拟方面实现了约 99％的准确度，在与 TensorFI 的速度提升方面实现了 44x 至 63x 的范围。

    Jun, 2022

  • 探索适用于成本效益的神经网络容错的 Winograd 卷积

    Winograd 卷积对神经网络容错性能的潜力进行了综合评估，结合经典容错设计方法，如三模块冗余、容错训练和受限激活函数，可以有效地降低容错设计开销并提高模型精确性。

    Aug, 2023

  • 探究事后剪枝感知卷积神经网络的校准性和对抗鲁棒性：一项图像分类基准研究

    当前研究中对图像分类任务进行的后期 CNN 剪枝技术的实证研究揭示了后期剪枝显著提高了模型的不确定性校准、性能和自然损坏鲁棒性，为安全和稳健的嵌入式 CNN 带来了希望。此外，剪枝不排斥不确定性校准和自然损坏鲁棒性，如通过后期非结构化剪枝的压缩增加的安全性方面的进一步改善所证明的。

    May, 2024

  • 利用剪枝和差分交叉栅映射提高基于 ReRAM 的边缘 AI 的 DNN 容错性

    本文提出了一种差分映射方案，以提高 ReRAM 的容错性，实现无需大规模优化的负载裁剪技术，从而在代表性 DNN 任务中容忍几乎高达一个数量级的故障率，而不需要额外的硬件成本。

    Jun, 2021

  • 探索深度神经网络的漏洞：参数破坏研究

    本文探讨了模型参数的脆弱性对于模型鲁棒性和泛化性的重要性，并提出了通过参数损坏来衡量神经网络参数鲁棒性的指标，并给出了一种梯度下降的估算方法，以提高训练效率。我们的研究得到理论和实证的支持，发现了深度神经网络的脆弱性，并提出了一种敌对损坏抗性训练的方法，可以提高模型的鲁棒性和预测准确率。

    Jun, 2020

  • 强缺陷神经形态硬件鲁棒训练方法的实验演示

    硬件感知训练和统计感知训练在神经网络中的应用，以应对硬件非理想性和缺陷的影响，提高网络性能。

    Dec, 2023

  • 深度卷积神经网络的鲁棒性建模的系统方法

    卷积神经网络在大量标记数据可用时表现出广泛的适用性，然而近期的研究为更大规模的模型是否能够推广到受控训练和测试集之外的数据提出了质疑。本文研究了 ResNet 模型中隐藏层数量对 MNIST、CIFAR10 和 CIFAR100 数据集的影响，并通过使用特制样本逼近期望的失败率来测试模型的预测能力和计算成本，发现更大规模的模型在提高对抗鲁棒性方面并没有显著帮助，但训练成本却显著增加。

    Jan, 2024