Sep, 2018

神经网络激活函数电路的设计空间探索

PDF
TL;DR本研究探讨了利用组合电路高效实现非线性激活函数（如 SELU 和 tanh）的方法，在 MNIST、CIFAR-10 和 IMAGENET 基准测试中表现出很高的效率和精度，相比于 LUT / 存储器实现可以节省 3.13-7.69 和 4.45-8:45 的面积，能够分别在 5.14GHz 和 4.52GHz 的时钟频率下运行。
artificial neural networksfpgaasicnonlinear activation functionscombinational circuits
发现论文，激发创造
  • 稳定且鲁棒的深度学习方法：双曲正切指数线性单元（TeLU）

    引入了 Hyperbolic Tangent Exponential Linear Unit（TeLU）作为一种新的神经网络激活函数，通过解决渐变消失和渐变爆炸问题，提高了稳定性和鲁棒性，在各种深度学习应用中表现出卓越的性能，将其视为潜在的新标准。

    Feb, 2024

  • TaLU: 一种混合 Tanh 和 ReLU 的激活函数，用于增强神经网络

    本文研究使用一种名为 TaLU 的激活函数来提高深度学习模型的分类准确度，该激活函数是 Tanh 和 ReLU 的组合，能够缓解 ReLU 的梯度消失问题，并在 MNIST 和 CIFAR-10 数据集上实现了 0％至 6％不等的准确度提高。

    May, 2023

  • 深度网络近似：超越 ReLU，使用多样激活函数

    本文研究深度神经网络对各种激活函数的表达能力，并证明可在任意有界集合上以稍大的常数精度近似任意激活函数的神经网络。

    Jul, 2023

  • 饱和非单调激活函数

    本文提出了一种新的非单调激活函数 SGELU，SSiLU 和 SMish，它们由 ReLU 的正部分和 GELU、SiLU 和 Mish 的负部分组成。实验结果表明，这些新的激活函数在多个深度学习架构上具有高效性能。

    May, 2023

  • 学习激活函数的组合

    本文介绍了两种自动学习不同激活函数组合的方法，并在三个标准数据集上与著名的体系结构进行了比较，显示了整体性能的显着改进。

    Jan, 2018

  • 神经网络激活函数的作用

    本文通过样条理论的角度展示了神经网络训练问题与函数的 Banach 空间有关，进一步论述了 ReLU 等激活函数的重要性，解释了神经网络设计与训练策略如何影响其性能，并为路径范数正则化及跳连等策略提供了新的理论支持。

    Oct, 2019

  • 稀疏实验数据预测建模的自适应激活函数

    本研究旨在通过研究两种类型的自适应激活函数来填补理解有限数据情景下可变激活函数对分类准确性和预测不确定性的影响的重要空白。研究结果表明，具有个体训练参数的自适应激活函数（如 ELU 和 Softplus）能够产生准确且自信的预测模型，优于固定形状激活函数和在隐藏层中使用相同可训练激活函数的不太灵活的方法。因此，该研究提供了在科学和工程问题中设计自适应神经网络的简洁方法。

    Feb, 2024

  • 扩展的门控范围改善激活函数

    探索使用反正切作为门控机制的自门控激活函数，该函数具有单调递增的一阶导数，通过引入每个 MLP 块的可训练参数来扩展门控函数的范围，实验证明这种技术改善了现有的自门控激活函数，并在 Transformer 架构中显示出优越性能。扩展的门控范围还显示了改善一阶门控线性单元 (GLU) 的有希望的结果。

    May, 2024

  • 高效的机器学习激活函数的量子电路，包括常数 T 深度 ReLU

    我们的研究主要关注于为容错量子计算架构开发激活函数的量子电路，重点在于最小化 $T$-depth。我们提出了 ReLU 和 leaky ReLU 激活函数的新实现，分别实现了恒定的 4 和 8 的 $T$-depth。借助量子查找表，我们还延伸研究到其他激活函数，如 sigmoid。通过调整量子比特的数量，我们能够定制精度和 $T$-depth，使得我们的研究结果在各种应用场景中更具适应性。这项研究对于提升量子机器学习的实用性和应用具有重要意义。

    Apr, 2024

  • 修正饱和激活函数

    本文在深度神经网络中研究常用的饱和函数：logistic sigmoid 和双曲正切 (tanh)，发现使用 logistic sigmoid 函数训练困难的原因不仅在于其非零中心属性，还在于其在原点附近的斜率过大。通过适当的重新调整，logistic sigmoid 和 tanh 函数的性能相当。接着，通过在负部分加罚项可以改进 tanh 函数，形成了 “带惩罚的 tanh” 函数，其性能甚至优于 ReLu 和 Leaky ReLU 等饱和函数。本文的结果与之前的研究结论产生冲突，表明有必要进一步研究深度架构中的激活函数。

    Feb, 2016