Jun, 2024
ProAct: DNN增强鲁棒性的渐进式训练混合剪切激活函数
ProAct: Progressive Training for Hybrid Clipped Activation Function to
Enhance Resilience of DNNs
Seyedhamidreza Mousavi, Mohammad Hasan Ahmadilivani, Jaan Raik, Maksim Jenihhin, Masoud Daneshtalab
TL;DR通过结合神经元和层级两种方法,本研究提出了一种混合截断激活函数,用于增强深度神经网络在硬件故障下的可靠性,并引入了一种渐进训练方法(ProAct)以获得截断激活函数的最佳阈值。