Jun, 2024

ProAct: DNN 增强鲁棒性的渐进式训练混合剪切激活函数

PDF
TL;DR通过结合神经元和层级两种方法，本研究提出了一种混合截断激活函数，用于增强深度神经网络在硬件故障下的可靠性，并引入了一种渐进训练方法（ProAct）以获得截断激活函数的最佳阈值。
deep neural networksactivation restriction techniqueshardware faultsclipping activation functionsproact
发现论文，激发创造
  • 学习激活函数以提高深度神经网络性能

    使用自适应激活函数，设计了一种用于改进深层神经网络架构的分段线性激活函数，并在 CIFAR-10 等数据集上取得了最先进的表现。

    Dec, 2014

  • ProbAct: 一种用于深度神经网络的概率激活函数

    本文提出了一种概率性的激活函数 ProbAct，通过对输入进行采样，从而使其变为具有随机性的激活函数，进而应用于神经网络中，实验结果表明，与 ReLU 等传统激活函数相比，ProbAct 在分类任务中的准确率提高了 2-3％。

    May, 2019

  • 通用后门缓解和测试时间检测的改进激活剪裁

    深度神经网络容易受到后门攻击，通过限制内部激活层的界限，可以有效减轻此类攻击及提高分类性能，在测试时还可以检测和校正激活界限网络与原网络之间的输出差异。

    Aug, 2023

  • 通过固定和动态量化激活函数来防御深度神经网络对抗性示例

    本研究发现神经网络量化和抵御对抗攻击这两条不同的路线可以合并，提出了动态量化激活方法以训练鲁棒神经网络，并在 MNIST 和 CIFAR-10 数据集上的广泛实验证明了该方法能够有效提高深度神经网络的鲁棒性。

    Jul, 2018

  • PACT: 量化神经网络的参数化剪切激活

    提出一种新的量化方案 PACT，可以在不降低准确性的情况下将激活量化至任意位精度，同时以 4 位精度量化权重和激活时能获得与完全精确网络相当的准确性，可以在硬件上获得超线性的推理性能提升。

    May, 2018

  • 可训练的高表达力激活函数

    该研究介绍了 DiTAC，一种基于高效可微变换（称为 CPAB）的可训练高表达的激活函数，它通过引入可忽略数量的可训练参数来增强模型的表达能力和性能，在语义分割、图像生成、回归问题和图像分类等任务中优于已有的激活函数。

    Jul, 2024

  • 通过动态激活函数优化前馈和卷积神经网络的性能

    复杂的分段线性激活函数在浅层和深层卷积神经网络中比 ReLu 激活函数效果更好，并使用 PyTorch 进行结果比较。

    Aug, 2023

  • AP: 稀疏剪枝神经网络的有选择激活去稀疏化

    提出了一种名为 Activating-while-Pruning 的方法，通过选择性激活节点来降低动态死神经元率从而提高裁剪网络的性能。实验表明，AP 可以使经典的和先进的裁剪方法的性能提高 3%-4%。

    Dec, 2022

  • 面向低功耗计算机视觉的即时深度神经网络优化控制

    移动设备上处理视觉数据具有多种应用，但现有的计算机视觉技术通常过于耗电无法部署在资源受限的边缘设备上。本文提出一种新技术，通过引入超参数来动态调整深度神经网络的精确度和能源消耗，无需重新训练即可适应不同边缘应用的硬件约束与精确度要求。该技术称为 AdaptiveActivation，实验证明其在流行的边缘设备上可以达到基准的误差范围内，并且比基准技术所需内存减少了 10% 到 38%，从而提供更多的精确度与效率权衡选项。

    Sep, 2023

  • 学习激活函数的组合

    本文介绍了两种自动学习不同激活函数组合的方法，并在三个标准数据集上与著名的体系结构进行了比较，显示了整体性能的显着改进。

    Jan, 2018