Feb, 2024

基于 Metropolis-Hastings 采样的芯片内脉冲神经网络训练方法研究

TL;DR本论文研究了Metropolis-Hastings采样在训练受强烈未知非理想化影响的脉冲神经网络(SNN)硬件中的应用,并将所提出的方法与在文献中广泛使用的误差反向传播(backprop)算法和替代梯度进行了比较。通过在芯片连环训练环境中进行模拟,该研究旨在训练一个受未知失真影响的SNN来进行癌症检测。结果表明,当硬件非理想化程度较高时,所提出的方法的准确性要比backprop高达27%。此外,结果还表明,为了达到有效的准确性,所提出的方法在SNN泛化方面也优于backprop,所需的训练数据量要少于10倍。这些发现使得所提出的训练方法非常适用于模拟亚阈值电路和其他新兴技术中的SNN实现,其中未知硬件非理想化可能危及backprop算法的性能。