nonlinear activation function | BriefGPT

关键词nonlinear activation function

搜索结果 - 5

任意非线性贝叶斯神经网络的小样本变分推断
本研究通过仅使用 3 个确定性样本来传播统计矩，实现了对任意非线性网络层的统计矩传播，从而使得少样本变分推断成为可能，并将此方法应用于一种新的非线性激活函数，用于向 Bayesian 神经网络的输出节点注入物理先验信息。
PDF2 months ago
随机特征的广义化性能改善的最优非线性
通过对等效模型的参数进行研究，本文通过优化非线性激活函数，实现了对给定监督学习问题的改善，验证了这些优化的非线性函数在回归和分类问题中比常用的非线性函数（如 ReLU 函数）具有更好的泛化性能，并且缓解了所谓的 “双峰下降” 现象。
PDF9 months ago
从指南针和尺规到卷积和非线性：关于理解一个简单的 CNN 解决一个简单的几何估计任务的惊人困难
本文研究使用卷积神经网络解决一维信号或二维图像中心半径估计问题，详细分析了网络结构、滤波器和非线性激活函数的作用，强调了神经网络中不变性和非线性激活函数形状的重要性。
PDFa year ago
ECCVCAIR: 快速轻量级多尺度颜色注意力网络，用于 Instagram 滤镜去除
提出了一个准确、快速、轻量级的网络 CAIR 用于 Instagram 滤镜去除，采用非线性激活函数自由网络（NAFNet）和加入颜色注意力模块，达到 11× 快速和 2.4× 轻量级，同时在 IFFI 数据集上超过了 3.69 dB PS
PDF2 years ago
高维随机特征学习的普适性定律
证明随机特征学习的一般性定理，表明具有非线性激活函数的随机特征模型在训练和泛化误差方面渐近等效于匹配协方差矩阵的线性高斯模型，其方法基于经典的 Lindeberg 方法，证明的主要内容包括针对与训练过程相关的优化问题的 leave-one-
PDF4 years ago