activation functions | BriefGPT

关键词activation functions

搜索结果 - 147

ICLR推广 LipSDP: 新型二次约束用于超越斜率限制的激活函数
我们的研究拓展了 LipSDP 方法，提供了新的约束条件，以估计一类富有的神经网络结构的 L2 和 L∞ Lipschitz 边界，包括非残差和残差神经网络以及隐式模型，其激活函数包括 GroupSort、MaxMin 和 Househol
PDF5 months ago
HOSC: 保留隐式神经表示中锐利特征的周期性激活函数
本文介绍了一种新的激活函数 —— 超半波振荡函数（HOSC），其具有可控的锐度参数，并且相比于现有的激活函数，HOSC 更好地捕捉了输入信号的突变和锐利特征以及平滑的低频过渡。我们将 HOSC 与其他流行的激活函数进行了对比，并在多个一般任
PDF5 months ago
一种新的神经计算范式：具有可学习神经元和适应结构的 X-Net
本研究提出了一种名为 X-Net 的新型神经网络，通过使用交替反向传播机制，在训练过程中根据导数信息动态选择适当的激活函数，增强网络对特定任务的表示能力。同时，在神经元级别准确调整网络结构以适应不同复杂度的任务和减少计算成本。通过一系列实验
PDF6 months ago
AAAI不确定性规范化的证据回归
本文介绍了一种结合深度学习和 Dempster-Shafer 理论的新方法，即证据回归网络 (ERN)，用于预测目标并量化相关不确定性。通过理论分析，我们发现一种限制模型性能的约束，并引入一种改进方法以克服此限制。我们探索了 ERN 并提出
PDF6 months ago
一种针对线性神经网络的新阐释
线性回归和神经网络广泛用于建模数据。我们提出的研究中，通过对 LNN 的优化分析和与线性回归在合成噪声数据集上的性能比较，证明了没有激活函数的神经网络在训练和测试性能方面都会降低。
PDF6 months ago
多项式激活函数的图神经网络具有有限表达性
图神经网络的表达能力可以完全用合适的一阶逻辑片段来描述。本文通过证明 GC2 查询不能由具有多项式激活函数的图神经网络表示，证明了多项式和流行的非多项式激活函数之间存在分离关系。
PDF8 months ago
神经网络中的分数概念：增强激活和损失函数
利用分数概念对神经网络进行激活和损失函数的修改，以优化网络性能。
PDF8 months ago
通过非线性透视理解深度神经网络
该研究提出了一种理论上可靠的解决方案，用于跟踪计算机视觉应用中深度神经网络中的非线性传播，提供了详实的实验结果，突出了提出的亲和性评分的实用性及其潜在的广泛应用。
PDF8 months ago
一个非单调平滑激活函数
本研究提出了一种名为 Sqish 的新型激活函数，作为现有激活函数的替代品，我们展示了它在分类、目标检测、分割任务和对抗性鲁棒性实验中的优越性，在 CIFAR100 数据集上，使用 ShuffleNet V2 模型在 FGSM 对抗攻击中，
PDF9 months ago
基于动态规划的全同态加密下优化逐层多项式逼近的高效私密推理
通过对激活函数进行逐层优化并调整密文模量链，本文提出了一种降低推理时间的隐私保护深度神经网络实现方法，可以将 ResNet-20 模型和 ResNet-32 模型的推理时间分别缩短 3.44 倍和 3.16 倍。
PDF9 months ago
大象神经网络：天生的持续学习者
通过研究神经网络的激活函数在训练动态和遗忘问题上的影响，本研究揭示了稀疏表示和激活函数的梯度稀疏性在减少遗忘方面的重要作用，并提出了一种名为 elephant 激活函数的新类别的激活函数，它能够生成稀疏表示和稀疏梯度，通过用 elephan
PDF9 months ago
1D 和 2D PT - 对称饱和非线性薛定谔方程的深度学习孤子动力学和复杂势能识别
本文首先将物理信息神经网络（PINNs）扩展到学习一维和二维可饱和非线性薛定谔方程（SNLSE）中具有两个基本的 PT - 对称 Scarf-II 和周期势的数据驱动的平稳和非平稳孤子。其次，研究了 PT - 对称潜力函数的数据驱动逆问题，
PDF9 months ago
通用激活：多变量投影
基于结构相似性，通过将 ReLU 替换为广义投影算子，将其扩展为具有多个输入和多个输出的多元投影单元 (MPU)，证明了在表达能力方面，由 SOC 投影激活的 FNN 优于利用 ReLU 的 FNN。实验评估进一步证实了 MPU 在更广泛的
PDF9 months ago
机器学习中的一对一可区分性
我们引入了一个新的分析框架来量化在机器学习算法的训练集中包含一些数据点之后，输出分布的变化，我们将这一概念定义为留一法区分度（LOOD）。我们使用高斯过程模型机器学习算法的随机性，并通过对会员推理攻击使用信息泄露进行广泛的实证分析验证 LO
PDF9 months ago
紧凑：用于安全计算的复杂激活函数的近似
为处理复杂非线性激活函数，在现有多方计算 (MPC) 技术基础上提出了一种名为 Compact 的方法，它能够高效地近似复杂激活函数，并在保持模型准确性的同时提供了 2 倍到 5 倍的计算加速。
PDF10 months ago
利用再生核空间插值和模型减缩训练神经网络
使用内插技术从再生核希尔伯特空间理论中介绍和研究训练神经网络的理论，进而泛化到 Krein 空间，并展示了广泛使用的神经网络体系结构是再生核 Krein 空间的子集。通过多个复变量函数的理论概念，证明了著名的 Adamjan-Arov-Kr
PDF10 months ago
线性振荡：视觉变换器的混沌美学
线性振荡（LoC）激活函数是一种与传统激活函数不同的激活函数，它通过将线性轨迹与振荡偏移相融合，将混乱的元素引入到神经网络的学习中，以更好地捕捉微妙的模式，并取得比 ReLU 和 Sigmoid 等传统激活函数更好的性能。这项研究凸显了精心
PDF10 months ago
参数泄漏双曲正切：一种用于深度学习的新型混合激活函数
本文在深度神经网络中提出了 Parametric Leaky Tanh（PLTanh）作为一种新的混合激活函数，结合了 Tanh 和 Leaky ReLU 激活函数的优势，通过保证负输入的梯度非零，解决了 'dying ReLU' 问题，并
PDFa year ago
通过动态激活函数优化前馈和卷积神经网络的性能
复杂的分段线性激活函数在浅层和深层卷积神经网络中比 ReLu 激活函数效果更好，并使用 PyTorch 进行结果比较。
PDFa year ago
TSSR：神经网络的截断有符号平方根激活函数
本文介绍了一种名为 Truncated and Signed Square Root (TSSR) 的新型激活函数，具有奇、非线性、单调和可微分的特点，其梯度是连续且始终为正。多个实验证实，所提出的 TSSR 比其他最先进的激活函数具有更好
PDFa year ago