Jul, 2019

Padé 激活单元：在深度网络中端到端学习灵活的激活函数

PDF
TL;DR本文中介绍了一种新的非线性激活函数 ——Padé 激活单元 (PAUs)，能够代替传统手动选择的固定激活函数，增加深度神经网络的预测性能和可靠性。
deep network learningnon-linear activation functionpadé activation units (paus)end-to-end learningpredictive performance
发现论文，激发创造
  • 对抗鲁棒性的激活函数参数化

    通过采用可学习的参数激活函数（PAFs），我们研究了使用 PSSiLU 以提高加性训练鲁棒性的影响。我们发现，PAFs 优化了影响鲁棒性的激活函数形状属性，而且仅引入 1-2 个可学习参数的光滑 PAFs 可以显著地提高鲁棒性。

    Oct, 2021

  • 自适应混合单元：深度神经网络中可训练的激活函数

    本研究介绍一种可训练的混合激活函数方案，Adaptive Blending Units（ABUs），相比与传统方法具有自适应调整比例的能力，在实验中证明了 ABUs 和自适应缩放在训练效率等方面的优势，同时也探讨了其原理。

    Jun, 2018

  • APALU：一种用于深度学习网络的可训练自适应激活函数

    训练激活函数 APALU 在深度学习中具有鲁棒性和适应性，通过提升深度神经网络和递归神经网络在各种任务中的学习性能，以及在图像分类、异常检测和回归任务中广泛应用的激活函数的改进，证明其在不同的深度学习应用中表现出稳定性和效率的特点。

    Feb, 2024

  • 稀疏实验数据预测建模的自适应激活函数

    本研究旨在通过研究两种类型的自适应激活函数来填补理解有限数据情景下可变激活函数对分类准确性和预测不确定性的影响的重要空白。研究结果表明，具有个体训练参数的自适应激活函数（如 ELU 和 Softplus）能够产生准确且自信的预测模型，优于固定形状激活函数和在隐藏层中使用相同可训练激活函数的不太灵活的方法。因此，该研究提供了在科学和工程问题中设计自适应神经网络的简洁方法。

    Feb, 2024

  • 学习激活函数以提高深度神经网络性能

    使用自适应激活函数，设计了一种用于改进深层神经网络架构的分段线性激活函数，并在 CIFAR-10 等数据集上取得了最先进的表现。

    Dec, 2014

  • 自适应激活函数加速深度和物理学知识神经网络的收敛

    采用自适应激活函数进行深度和物理知识神经网络中的回归以逼近光滑和不连续函数以及线性和非线性偏微分方程的解。该方法通过在激活函数中引入可扩展的超参数，并考虑前向问题和反向问题，显着提高了神经网络学习能力和近似解决方案的收敛速度、准确度和鲁棒性。

    Jun, 2019

  • PAON：一种使用 Padé 逼近的新神经元模型

    本文提出了一种全新的神经元模型，称为 Pade neurons（Paons），受到 Pade approximants 的启发，Paons 是所有其他提出的神经元模型的超集。通过将 ResNet 扩展为 PadeNet（由 Paons 构建），我们证明了这个概念。我们在单图像超分辨率任务上的实验证明，PadeNets 可以比竞争架构获得更好的结果。

    Mar, 2024

  • 学习为基于物理知识的神经网络设计特定的激活函数

    通过引入自适应激活函数来解决物理信息神经网络 (PINNs) 的优化困难，该方法可以有效地解决不同问题中的偏微分方程组，并在一系列基准测试中展现了其有效性。

    Aug, 2023

  • 通过动态激活函数优化前馈和卷积神经网络的性能

    复杂的分段线性激活函数在浅层和深层卷积神经网络中比 ReLu 激活函数效果更好，并使用 PyTorch 进行结果比较。

    Aug, 2023

  • 使用分段线性单元学习专业的激活函数

    提出了一种新的激活函数 Piecewise Linear Unit，它可以学习专门的激活函数，并在大规模数据集上获得 SOTA 性能，比 Swish 在 ImageNet 分类数据集上分别提高了 0.9%/0.53%/1.0%/1.7%/1.0% 的 top-1 准确率，此外 PWLU 易于实现且在推理方面高效。

    Apr, 2021