Jun, 2023

层级激活机制

PDF
TL;DR本文提出了一种新颖的激活机制，名为 LayerAct 函数，该函数能够更好地应对输入的波动和噪声，同时在保持零输出均值的同时，实现比传统的元素级激活函数更好的噪声鲁棒性，实验结果表明，这些函数在处理噪声图像数据集方面表现出色，同时在大多数情况下，对于清晰的图像数据集的性能也更优秀。
activation mechanismlayeract functionsnoise-robustnessimage classificationexperimental results
发现论文，激发创造
  • ProbAct: 一种用于深度神经网络的概率激活函数

    本文提出了一种概率性的激活函数 ProbAct，通过对输入进行采样，从而使其变为具有随机性的激活函数，进而应用于神经网络中，实验结果表明，与 ReLU 等传统激活函数相比，ProbAct 在分类任务中的准确率提高了 2-3％。

    May, 2019

  • 末隐藏层激活的非合理有效性对于对抗性稳健性的影响

    研究了在输出层使用高温度值的激活函数对于防御基于梯度的对抗攻击的效果，并在 MNIST 数据集上实验验证了其方式可以显著提高对抗攻击的鲁棒性。

    Feb, 2022

  • 学习激活函数以提高深度神经网络性能

    使用自适应激活函数，设计了一种用于改进深层神经网络架构的分段线性激活函数，并在 CIFAR-10 等数据集上取得了最先进的表现。

    Dec, 2014

  • LLaMA 模型中的动态激活陷阱：实证研究

    我们对 LLaMA 系列语言模型中动态激活机制的功效进行了系统的调查，发现了当前动态激活方案存在的一些内在缺陷。通过对各种动态激活策略进行广泛的实验证明，与 ReLU 激活函数的对应模型相比，LLaMA 模型在要求高稀疏比率的场景中通常表现较差。我们将这些缺陷归因于以下几个因素：1）动态预测激活头和神经元的内在复杂性；2）激活函数引起的不充分稀疏性；3）KV 缓存跳过引起的信息不充分保留。我们的分析不仅揭示了大规模 LLaMA 模型中动态激活的局限性，还提出了增强未来稀疏方案设计的路线图。

    May, 2024

  • 演化归一化激活层

    提出一种基于自动化方法设计规范化层和激活函数的新方法来克服规范化 - 激活函数共用空间大的挑战。将它们统一为单个张量到张量计算图，并从基本数学函数开始演化其结构，最终发现了一组新的 norm-activation 层 EvoNorms，这些层的性能在不同的深度网络结构上都表现良好。

    Apr, 2020

  • ProAct: DNN 增强鲁棒性的渐进式训练混合剪切激活函数

    通过结合神经元和层级两种方法，本研究提出了一种混合截断激活函数，用于增强深度神经网络在硬件故障下的可靠性，并引入了一种渐进训练方法（ProAct）以获得截断激活函数的最佳阈值。

    Jun, 2024

  • 学习激活函数的组合

    本文介绍了两种自动学习不同激活函数组合的方法，并在三个标准数据集上与著名的体系结构进行了比较，显示了整体性能的显着改进。

    Jan, 2018

  • TopoAct: 深度学习激活形状的可视化探索

    本文使用拓扑数据分析探究深度神经网络内部层的神经元激活，使用 TopoAct 可视化系统展示获取的激活向量的拓扑信息，为深度神经网络学习表示提供有价值的洞见和可视化工具。

    Dec, 2019

  • ErfAct 和 Pserf：非单调平滑可训练激活函数

    该研究提出了两种新的可训练激活函数，ErfAct 和 Pserf，实验表明，相对于 ReLU、Swish 和 Mish 等广泛使用的激活函数，使用 ErfAct 和 Pserf 在神经网络中能够显著提高网络性能.

    Sep, 2021

  • xUnit: 学习一种空间激活函数用于高效图像修复

    本文提出一种新的激活单元，与传统的 per-pixel 激活单元相比，该单元实现了可学习的带有空间连接的非线性函数，使神经网络能够捕捉更复杂的特征，从而在图像恢复问题中取得了极高的性能和效率。

    Nov, 2017