activation function | BriefGPT

关键词activation function

搜索结果 - 84

带有 ReLU，leaky ReLU 和 softplus 激活函数的深度神经网络能够在 $L^p$ 意义下，证明地克服 Kolmogorov 偏微分方程中具有 Lipschitz 非线性的维数灾难
深度学习方法在逼近高维偏微分方程方面的研究，尤其是通过神经网络和活化函数的选择，可以有效地克服维数诅咒，并能够在多项式时间内以任意精度逼近解，为解决偏微分方程提供了广泛应用的前景。
PDF9 months ago
ReLU 网络在紧致定义域上的全局逼近最小宽度
本文研究了有界宽度网络的通用逼近性质，证明了使用 ReLU 等激活函数时，将输入空间为 [0,1]^{d_x} 的 $L^p$ 函数逼近到输出空间为 R^{d_y} 所需的最小宽度恰为 max {d_x, d_y, 2}。同时证明了对于激活
PDF9 months ago
浅层神经网络的几何结构与 L2 代价最小化构建
提供了一个浅层神经网络的结构的几何解释，该网络具有一个隐藏层、一个斜坡激活函数、一个 L2 Schatten 类（或 Hilbert-Schmidt）代价函数、输入空间 R^M、输出空间 R^Q（其中 Q≤M），以及训练输入样本大小 N>Q
PDF9 months ago
仅关注注意力的 Transformer 模型及使用注意力头实现的 MLP
证明了一个 MLP 神经元可以通过具有内部维度 1 的带有掩码注意力头来实现，只要 MLP 的激活函数来自包括 SiLU 以及接近 ReLU 和 GeLU 的受限类。同时证明了注意力头可以分别执行 MLP 的组成部分（线性变换和激活函数），
PDF10 months ago
自旋电子学用于图像识别：通过超快数据驱动模拟进行性能基准测试
通过使用数据驱动的模拟框架，我们展示了利用基于旋涡磁性自转振荡器（STVO）的自旋电子学纳米结构进行图像分类的硬件基础脉冲网络（ESN）的演示。通过模拟 STVO 动力学，我们有效地开发、优化和测试了基于 STVO 的 ESN，用于使用 M
PDFa year ago
STL：一种用于神经网络的带符号和截断的对数激活函数
本文介绍了一种新的符号截断对数函数作为激活函数，它具有明显更好的数学性质，如奇函数、单调性、可微性、具有无界值范围以及连续非零梯度，因此成为激活函数的卓越选择。通过与其他知名激活函数在几个著名神经网络上的比较，结果证实该函数为最先进的。该建
PDFa year ago
理解卷积神经网络的前向过程
该研究揭示了 CNN 前向处理中的选择性旋转，阐明了激活函数作为一种辨别机制，统一并量化输入数据的旋转特性。实验证明了该定义方法如何反映进展网络根据统计指标区分输入，这可以通过应用结构化数学工具来理解或分析。我们的发现还揭示了人工神经网络和
PDFa year ago
通过隐藏层的线性可分性理解深度神经网络
我们通过线性可分性度量深度神经网络的隐藏层输出来研究其特征，发现隐藏层输出的线性可分性度量与网络的训练性能存在同步性，即如果更新的权重可以增强隐藏层输出的线性可分性，更新后的网络将获得更好的训练性能，反之亦然。此外，我们研究了激活函数和网络
PDFa year ago
ErfReLU: 深度神经网络自适应激活函数
本文介绍了一种基于 Erf 函数和 ReLU 的新型激活函数 'ErfReLU'，并比较了其与其他 9 种可训练激活函数在 CIFAR-10，MNIST 和 FMNIST 基准数据集上应用于 MobileNet，VGG16，ResNet 模
PDFa year ago
初始猜测偏差：未经培训的神经网络偏向某些类别
研究表明，神经网络中的 “Initial Guessing Bias” 现象与其结构有关，对网络的选择与初始化有实际指导意义。
PDFa year ago
两种近似算法的故事：通过欠 - 过估算收紧 DNN 的稳健性验证
本文研究了神经网络鲁棒性的形式化验证，提出了一种新的双重逼近方法，利用激活函数的低估区间来定义紧逼近边界，并将其实现到了名为 DualApp 的工具中，在不同体系结构的深度神经网络基准测试中，DualApp 方法得到了明显的优化
PDFa year ago
深度学习中的 GELU 激活函数：全面的数学分析和性能评估
本文通过数学方法详细地探究了 GELU 激活函数的不同 iability，boundedness，stationarity 和 smoothness 属性，并在 CIFAR-10、CIFAR-100 和 STL-10 数据集上进行了广泛的实
PDFa year ago
神经网络训练与 ETR 的复杂度：有效连续函数扩展
本文研究了使用不同激活函数定义的神经网络的训练问题的复杂性，证明了 sigmoid 激活函数导致的训练问题多项式时间可约化到存在性理论中，但是对于正弦激活函数的训练问题是不可判定的，并给出了限制条件下的训练问题的复杂性的上界。
PDFa year ago
ReLU 缓解 NTK 条件数并加速宽神经网络的优化
本文研究了修正线性单元（ReLU）在神经网络中的作用，证明了 ReLU 能够提高神经网络的数据分离效果和提升神经切向核的条件数，进而改善了学习的收敛速率。
PDFa year ago
TaLU: 一种混合 Tanh 和 ReLU 的激活函数，用于增强神经网络
本文研究使用一种名为 TaLU 的激活函数来提高深度学习模型的分类准确度，该激活函数是 Tanh 和 ReLU 的组合，能够缓解 ReLU 的梯度消失问题，并在 MNIST 和 CIFAR-10 数据集上实现了 0％至 6％不等的准确度提高
PDFa year ago
激活函数的不激活：神经网络解释的合理理论
本文提出了关于神经网络被认为具有高维空间模型但其空间的定义不够清晰的一个合理解释，即通过激活函数的作用将低维线性空间映射为无限维的高维空间，称为超空间。这种空间中的每个神经元节点通过激活层实际上是一个无限次幂的多项式，而训练神经网络可以至少
PDFa year ago
浅层神经网络的插值性质
本文研究过参数神经网络的损失曲面的全局最小值的几何结构，证明浅层神经网络可以插值任何数据集，给出全局最小值的 Hessian 矩阵的特征表达式，并提供一种实用的概率方法寻找插值点。
PDFa year ago
放大正弦单元：一种用于深度神经网络的振荡激活函数，以有效恢复非线性振动
通过引入具有振荡激活功能的深度神经网络结构，本文提出了一种应对微电机系统中非线性振动问题的方法，其中还使用了一些振荡和非振荡激活功能以进行综合分析；实验结果表明，此设计网络是更可靠和稳健的，可以有效应对非线性和振动的挑战。
PDFa year ago
ACL关于线性递归网络在长序列括号计数上的理论条件和实证失败
研究了线性单细胞网络的理论分析与实证分析，揭示了此类模型保持精确计数行为的必要和充分条件，并发现在标准方法下训练时，线性 RNN 不满足精确计数的条件。
PDFa year ago
关于径向基函数神经网络的普遍逼近性质
本文研究了一种新型的 RBF（径向基函数）神经网络，其中平滑因子被替换为位移，证明在激活函数具有一定条件下，这些网络能够逼近欧几里得空间中任何紧致子集上的任何连续多元函数。对于具有有限个固定中心的 RBF 网络，我们描述了保证任意精度逼近的
PDFa year ago