Sep, 2022

BayesFT: 基于贝叶斯优化的容错神经网络架构

PDF
TL;DR本文提出了使用贝叶斯优化来提高深度神经网络抗重量漂移性能的方法，并使用 dropout 来提高网络的鲁棒性。实验结果表明该方法在各种任务（例如图像分类和目标检测）中优于现有技术。
发现论文，激发创造
  • 面向 FPGA 的硬件感知神经网络丢弃搜索用于可靠的不确定性预测

    提出了一种新的神经随机丢失搜索框架，旨在自动优化既有基于 dropout 的 Bayesian 神经网络及其硬件 FPGA 实现，实验结果表明该框架能够有效地找到 Pareto 最优设计配置。

    Jun, 2024

  • 基于 ReRAM 的 Transformer 语言模型的零空间成本容错技术

    本文提出了一种零空间成本的容错机制，通过可微结构修剪、权重复制和投票以及嵌入最显著位（MSBs）到模型权重中，有效减少了硬件故障对模型预测的影响，并通过在 GLUE 基准的九个任务上使用 BERT 模型进行实验验证了该方法的有效性。

    Jan, 2024

  • 贝叶斯神经网络的模型架构调整

    本文提出一种新颖的网络架构搜索 (NAS) 方法，用于优化 Bayesian 神经网络（BNN）的精度和不确定性，同时减少推理延迟。与传统的 NAS 不同，该方法使用来自内部和外部分布的数据搜索模型的不确定性性能，从而可以在网络中搜索贝叶斯层的正确位置，并且相对于流行的 BNN 基线，使用的运行时仅为其一小部分，将推理运行时成本分别与 MCDropout 和 deep ensemble 相比在 CIFAR10 数据集上分别降低了 2.98 倍和 2.92 倍。

    Feb, 2022

  • 神经网络多目标贝叶斯优化的增强随机搜索

    本文提出一种新的基于强化学习的方法来优化在小型设备上部署的深度神经网络，以便在保持预测精度的同时最小化内存占用和计算复杂度。实验结果表明，该方法在不同数据集和架构上均优于现有的多目标贝叶斯优化方法。

    May, 2023

  • 在 FPGA 上增强基于 Dropout 的贝叶斯神经网络的多出口

    本文提出了一个算法和硬件协同设计框架，该框架可以为高效的基于 FPGA 的 Bayesian 神经网络生成加速器，以减少计算和内存负载，并实现更高的能源效率。

    Jun, 2024

  • 利用剪枝和差分交叉栅映射提高基于 ReRAM 的边缘 AI 的 DNN 容错性

    本文提出了一种差分映射方案，以提高 ReRAM 的容错性，实现无需大规模优化的负载裁剪技术，从而在代表性 DNN 任务中容忍几乎高达一个数量级的故障率，而不需要额外的硬件成本。

    Jun, 2021

  • 硬件感知训练技术对于提高 TiO2 ReRAM 被动交叉阵列 Ex-Situ 神经网络迁移的鲁棒性的影响

    采用退火和正则方法训练硬件感知型神经网络作为垂直交叉阵列的一种解决方案。

    May, 2023

  • 跨层优化的容错深度学习

    提出了一种基于容错深度学习加速器的方法，通过对深度学习处理组件的建筑层和电路层进行选择性保护，降低由于冗余计算造成的开销，并通过优化设计参数在算法层、建筑层和电路层上减少硬件资源消耗，同时满足可靠性、准确性和性能等多个用户约束。

    Dec, 2023

  • 当蒙特卡罗 Dropout 遇到多出口：在 FPGA 上优化贝叶斯神经网络

    本研究提出了一种新颖的多出口 Monte-Carlo Dropout（MCD）Bayesian 神经网络，实现了具有低算法复杂度的良好校准预测。此外，我们还提出了一个转换框架，可为多出口 MCD BayesNN 生成基于 FPGA 的加速器，以进一步降低采用 BayesNNs 的障碍。通过引入几种新颖的优化技术，我们的实验表明，我们的自动生成的加速器比 CPU、GPU 和其他最先进的硬件实现具有更高的能量效率。

    Aug, 2023

  • 基于 ReRAM 的 PIM 加速器上的故障感知的 GNN 训练

    本文提出了一种故障感知的框架 FARe，用于在存在故障情况下减轻训练图神经网络的影响，该框架在准确性和时间开销方面优于现有方法。实验结果表明，相比无故障情况下的对比系统，FARe 框架可以在故障的 ReRAM 硬件上只增加约 1% 的时间开销，将 GNN 测试准确率提高 47.6%。

    Jan, 2024