Jun, 2020

神经网络无法学习周期函数及其解决方法

PDF
TL;DR使用新型激活函数 $x + sin^2 (x)$，结合传统 ReLU 激活函数的优势，来解决传统激活函数（如 ReLU、tanh、sigmoid 等）在学习周期函数方面的普遍失败。经实验证明，该方法能够成功地预测温度和金融数据。
发现论文，激发创造
  • 神经网络中的周期性外推归纳

    研究不同类型结构神经网络在周期性数据外推泛化问题上的表现，结果发现传统序贯模型在该任务上仍然表现优于新型周期网络和蛇形激活函数，而基于人口的训练方法最终达到了最佳效果。

    Sep, 2022

  • 神经网络激活函数的作用

    本文通过样条理论的角度展示了神经网络训练问题与函数的 Banach 空间有关，进一步论述了 ReLU 等激活函数的重要性，解释了神经网络设计与训练策略如何影响其性能，并为路径范数正则化及跳连等策略提供了新的理论支持。

    Oct, 2019

  • 神经网络训练与 ETR 的复杂度：有效连续函数扩展

    本文研究了使用不同激活函数定义的神经网络的训练问题的复杂性，证明了 sigmoid 激活函数导致的训练问题多项式时间可约化到存在性理论中，但是对于正弦激活函数的训练问题是不可判定的，并给出了限制条件下的训练问题的复杂性的上界。

    May, 2023

  • 修正饱和激活函数

    本文在深度神经网络中研究常用的饱和函数：logistic sigmoid 和双曲正切 (tanh)，发现使用 logistic sigmoid 函数训练困难的原因不仅在于其非零中心属性，还在于其在原点附近的斜率过大。通过适当的重新调整，logistic sigmoid 和 tanh 函数的性能相当。接着，通过在负部分加罚项可以改进 tanh 函数，形成了 “带惩罚的 tanh” 函数，其性能甚至优于 ReLu 和 Leaky ReLU 等饱和函数。本文的结果与之前的研究结论产生冲突，表明有必要进一步研究深度架构中的激活函数。

    Feb, 2016

  • 神经网络的频谱偏差

    通过傅里叶分析的工具，表明深度 ReLU 网络偏向于低频函数，且随数据流形复杂性的增加，学习高频函数变得更容易，但参数扰动会影响频率成分的鲁棒性和精确表达。

    Jun, 2018

  • 具有周期性激活函数的隐式神经表示

    提出了一种新的神经网络模型 —— 正弦表示网络，可以用于处理带有细节特征的复杂信号及其导数，可以解决泊松方程、赫姆霍兹方程、波动方程等各种边界值问题，并且可以通过超网络学习 Siren 函数的先验知识。

    Jun, 2020

  • 学习激活函数以提高深度神经网络性能

    使用自适应激活函数，设计了一种用于改进深层神经网络架构的分段线性激活函数，并在 CIFAR-10 等数据集上取得了最先进的表现。

    Dec, 2014

  • 超越周期性：朝向协同多层感知器激活的统一框架

    本文研究了在 Coordinate-MLPs 中 activation function 的影响，提出了一类比正弦函数更加鲁棒的非周期函数，并鼓励在 Coordinate-MLPs 中使用这些非传统的激活函数来提高性能和简化模型。

    Nov, 2021

  • 潜在辅助网络：在强化学习中重新发现双曲正切函数

    通过研究激活函数对死神经元和有效秩大小的影响，本文提出了一个新的神经网络结构，并展示了在 Atari 领域中学习速度更快、死神经元减少和有效秩增加的结果。

    Jun, 2024

  • 学习激活函数的组合

    本文介绍了两种自动学习不同激活函数组合的方法，并在三个标准数据集上与著名的体系结构进行了比较，显示了整体性能的显着改进。

    Jan, 2018