Jun, 2024

RepAct: 可重参数自适应激活函数

PDF
TL;DR为了满足物联网和边缘计算中高效人工智能的需求，本研究提出了 RepAct，这是一个可以重新参数化的自适应激活函数，专为在边缘设备的计算限制下优化轻量级神经网络而设计。通过采用可学习的自适应权重的多分支结构，RepAct 丰富了特征处理并增强了跨层解释性。在图像分类和目标检测等任务上进行评估时，RepAct 在轻量级网络中表现出色，对于 ImageNet100 数据集的 MobileNetV3-Small，准确率提升高达 7.92％，同时保持与 HardSwish 相当的计算复杂度。这种创新方法不仅最大程度地提高了模型参数效率，还显著改进了轻量级神经网络的性能和理解能力，展示了在实时边缘计算应用中的潜力。
artificial intelligenceiotedge computingadaptive activation functionlightweight neural networks
发现论文，激发创造
  • ProbAct: 一种用于深度神经网络的概率激活函数

    本文提出了一种概率性的激活函数 ProbAct，通过对输入进行采样，从而使其变为具有随机性的激活函数，进而应用于神经网络中，实验结果表明，与 ReLU 等传统激活函数相比，ProbAct 在分类任务中的准确率提高了 2-3％。

    May, 2019

  • ReActNet: 基于广义激活函数实现精准二值神经网络

    本文提出了一种改进二进制网络的方法，包括通过 RSign 和 RPReLU 实现激活分布变化的显式学习，以及采用分布损失进一步加强二进制网络的训练，通过这些方法，在不增加计算成本的情况下，将二进制网络精度提高到了比现有二进制网络更高的水平，并将其与实值网络的精度差距降至 3.0％以内。

    Mar, 2020

  • 适应性计算时间的递归神经网络

    本文介绍了一种自适应计算时间（ACT）的算法，它使得循环神经网络能够在接收输入和输出之间学习要执行多少计算步骤。ACT 要求最少的网络架构变化，并且是确定性和可微分的，在不会增加参数梯度的噪声的情况下表现良好。实验结果证明，ACT 在决定二进制向量的奇偶性，应用二元逻辑操作，加法和对真实数字排序的四个综合问题上表现出了显着的性能改进。此外，本文还在 Hutter 奖 Wikipedia 数据集上展示了字符级别的语言建模结果，ACT 在该场景下性能提升不是很大，但是它提供了对数据结构的引人瞩目的见解，更多的计算分配给了难以预测的转换，比如单词之间的空格和句子结束。这表明，ACT 或其他自适应计算方法可能提供一种推断序列数据分段边界的通用方法。

    Mar, 2016

  • 适应性与固定计算时间的递归神经网络比较

    本研究比较了 Adaptive Computation Time 和 Repeat-RNN 两种模型在变长序列任务上的性能表现，发现 Repeat-RNN 与 ACT 相比在该任务上表现良好，源码可公开获取。

    Mar, 2018

  • 可重构激活网络

    本文介绍了通过重新构造非线性激活函数创建硬件高效模型的新范式 -- Restructurable Activation Networks（RANs），包括硬件感知搜索空间和半自动搜索算法 RAN-explicit（RAN-e）等。通过训练自由的网络拓扑缩放方法称为 RAN-implicit（RAN-i），我们在多种硬件设备上实现了图像分类，目标检测及性能方面的全面提升，并在 ImageNet 上实现了最新的结果。

    Aug, 2022

  • PaReprop: 快速并行可逆反向传播

    本研究提出了 PaReprop 算法，该算法能够在反向传播阶段中将激活重新计算的额外计算开销与梯度计算本身并行化，实现记忆高效训练，并比普通可逆训练达到高达 20% 的更高训练吞吐量。

    Jun, 2023

  • 面向低功耗计算机视觉的即时深度神经网络优化控制

    移动设备上处理视觉数据具有多种应用，但现有的计算机视觉技术通常过于耗电无法部署在资源受限的边缘设备上。本文提出一种新技术，通过引入超参数来动态调整深度神经网络的精确度和能源消耗，无需重新训练即可适应不同边缘应用的硬件约束与精确度要求。该技术称为 AdaptiveActivation，实验证明其在流行的边缘设备上可以达到基准的误差范围内，并且比基准技术所需内存减少了 10% 到 38%，从而提供更多的精确度与效率权衡选项。

    Sep, 2023

  • ProAct: DNN 增强鲁棒性的渐进式训练混合剪切激活函数

    通过结合神经元和层级两种方法，本研究提出了一种混合截断激活函数，用于增强深度神经网络在硬件故障下的可靠性，并引入了一种渐进训练方法（ProAct）以获得截断激活函数的最佳阈值。

    Jun, 2024

  • PACT: 量化神经网络的参数化剪切激活

    提出一种新的量化方案 PACT，可以在不降低准确性的情况下将激活量化至任意位精度，同时以 4 位精度量化权重和激活时能获得与完全精确网络相当的准确性，可以在硬件上获得超线性的推理性能提升。

    May, 2018

  • AP: 稀疏剪枝神经网络的有选择激活去稀疏化

    提出了一种名为 Activating-while-Pruning 的方法，通过选择性激活节点来降低动态死神经元率从而提高裁剪网络的性能。实验表明，AP 可以使经典的和先进的裁剪方法的性能提高 3%-4%。

    Dec, 2022