relu | BriefGPT - AI 论文速递

关键词relu

搜索结果 - 53

优化 CNN-Bigru 性能：Mish 激活函数与 Relu 的对比分析
该研究通过比较网络激活函数 Mish 和 ReLU 在入侵检测任务上的性能，揭示了激活函数在提升入侵检测系统性能方面的有效性。
PDFa month ago
神经网络中的最小深度
神经网络的可表达性特征对于理解其在人工智能中的成功至关重要。本研究调查了关于 ReLU 神经网络表达能力以及与最小深度的猜想的两个主题，主题包括求和和最大运算的最小深度表示，以及多面体神经网络的探索。对于求和运算，我们确定了操作数的最小深度
PDF4 months ago
周期激活坐标网络的神经切比雪夫核分析
用神经网络理论分析周期激活神经网络，证明其在视觉任务中表现出优越性能，并对其神经切线核进行了研究，得出周期激活网络在 NTK 视角下比 ReLU 激活网络更好。研究还对网络的记忆能力进行了实证验证，为周期激活神经网络的性质提供了深入理解。
PDF5 months ago
从复杂到清晰：通过 Clifford 的几何代数和凸性分析深度神经网络权重的解析表达
基于几何 (克利福德) 代数和凸优化，我们介绍了一种新的神经网络分析方法，显示出深度 ReLU 神经网络的最优权重是通过训练样本的外积给出的，并且训练问题可以化简为对外积特征进行凸优化，这些特征编码了训练数据集的几何结构，其中几何结构通过数
PDF9 months ago
通过浅层 ReLU 网络学习神经元：相关输入的动力学和隐式偏置
通过训练一个从一个小初始值开始的任意宽度的一层 ReLU 神经网络来证明，对于学习单个神经元的基本回归任务，该网络能收敛于零损失并隐含有利于最小化网络参数秩的偏见。
PDFa year ago
MM网络退化作为训练性能的指标：有限与无限角度预测的比较
通过研究神经网络的退化现象，我们使用一个简单的算法来预测对任何给定的完全连接的 ReLu 网络结构的网络退化程度，并演示如何预测退化程度与网络的训练动力学有关。
PDFa year ago
ICMLReLU 网络的最优集合和解路径
通过把非凸培训问题重新定义为凸程序，我们开发了一个分析框架来表征最佳 ReLU 神经网络的集合，并指出凸参数化的全局最优解是由一个多面体集合给出的。我们还扩展了这种特征，以获得非凸培训目标的最优集合。由于 ReLU 培训问题的所有静态点都可
PDFa year ago
从 tempered 到 benign 的 ReLU 神经网络过拟合
本文研究过参数神经网络的过拟合现象，并证明了在不同的维度下会出现不同种类的过拟合现象，包括良性过拟合和温和过拟合，并解释了这些现象与样本大小、网络结构等因素的相关性。
PDFa year ago
MM由随机神经网络生成的函数的非线性点
探讨了一种带 1 个隐藏激活层、任意宽度和 ReLU 激活函数的神经网络，研究了神经网络的偏差，解释了为何神经网络可能更偏好具有更简单的几何形状和为何某些低信息熵函数对于神经网络来说仍然难以近似。
PDFa year ago
MM神经网络中的深度退化问题：初始化时全连接 ReLU 网络中角度逐渐趋近于 0
论文研究神经网络深度退化现象和该现象与两输入的夹角随层数变化的关系，使用组合拓展方法得出随着层数增加该夹角趋近于零的精确公式，并发现这些公式与相关高斯函数的混合矩和贝塞尔数之间存在意外的组合连接。
PDFa year ago
Transformer 中 ReLU 和 Softmax 的研究
本文研究了 Transformer 模型的架构，介绍了自注意力机制和前馈神经网络，并重建了 ReLU 和 Softmax 之间的关系，提出了使用额外层归一化模块的 Softmax 和 ReLU 相等的概念。此外，研究发现 ReLU 可以处理
PDFa year ago
探索基于循环神经网络的计数行为的长期泛化能力
本研究探究了 LSTM、ReLU 和 GRU 模型在长序列计数任务的泛化能力，并发现虽然先前的理论工作已经建立了具有适当配置的 RELU 激活和 LSTM 的计数能力，但是 LSTM 模型在实验中仍无法学习到正确的计数行为，并且从验证损失及
PDF2 years ago
深度强化学习中线性区域发展的理解
本文旨在通过对连续控制任务和策略网络维度的实证结果，以及基于监督学习环境中的神经网络感知区域结果的最新理论和实证结果的探究，来了解强化学习的深度策略中区域计数及其密度的演化，结果表明深度强化学习策略的复杂性并不是由于在策略的轨迹上及周围观察
PDF2 years ago
Nish：一种新型负激励混合激活函数
本研究提出了新型剪裁激活函数 Nish，具有比传统的 ReLU 函数更强的动态表现能力，且在分类方面的表现略优于 Mish。
PDF2 years ago
CVPR使用渐进式集成激活方法免费提升 ReLU 网络的性能
本文提出了一种方法 —— 使用一些高效的激活函数，用于训练 ReLU 网络，提高了在 ImageNet 上分类任务的实验精确度，同时还对 Cityscapes 数据集的语义分割网络的性能提升了 0.34％mIOU。
PDF2 years ago
无限宽度三层神经网络的实验相图
该研究建立了一个三层无限宽度的神经网络参数初始化的相图，发现不同层的动态行为区别巨大，提供了对不同初始化条件下深度神经网络的研究指导。
PDF2 years ago
卷积和残差网络可证明包含中奖彩票
该论文证明现代卷积和残差层构成的卷积神经网络同样可能存在具有高概率的‘彩票票证’，这与以往理论只关注具有 ReLU 激活函数的全连接前馈神经网络有所不同。
PDF2 years ago
ReLU 网络逼近紧支撑函数的优势研究
该研究研究了使用前馈神经网络逼近紧支持积分函数的问题，提出了一种新的拓扑构造方法，并证明了具有双线性池化层的 ReLU 前馈网络在这个拓扑结构中的普适性，同时得到了构造该网络所需的深度、宽度和双线性池化层数量的定量结果。此外，研究还表明在这
PDF2 years ago
MM基于梯度流的深度学习模型压缩中的显著性探究
本文提出一种基于梯度流的模型修剪方法，综合考虑 BN 和 ReLU 层后的卷积操作对整个特征映射的影响，采用 BN 层中的一阶泰勒多项式标识神经元的重要程度，该方法在图像分类和去噪任务上取得了良好的性能表现。
PDF3 years ago
SERF：使用 log-Softplus ERror 激活函数实现更好的深度神经网络训练
提出了一种自我调节且非单调的激活函数 Serf，该函数可大幅提高神经网络的性能，在计算机视觉等多种任务中表现优异，深层网络中效果更为显著。与其他常用激活函数相比，Serf 更兼容各种深度、复杂度、优化器、学习率、批量大小、初始化器和节点丢弃
PDF3 years ago