relu activation functions | BriefGPT

关键词relu activation functions

搜索结果 - 16

神经网络的实际灵活性如何？
神经网络对数据的拟合能力的研究发现，标准优化算法找到的最小值只能适应参数比样本数量少很多的训练集，卷积网络比多层感知机和视觉注意力变换模型更有效，随机梯度下降在拟合训练集方面比全批量梯度下降更好，对于正确和错误标记样本的拟合能力差异可以预测
PDF17 days ago
ICMLReLUs 足以学习隐式神经表示
通过第二阶 B 样条小波的灵感，我们给深度神经网络 (DNN) 每一层的 ReLU 神经元引入一组简单的约束以修正其谱偏差，从而实现对各种隐式神经表示任务的有效使用。通过实验证明，与普遍观点相反，基于只包含 ReLU 神经元的 DNN 可以
PDFa month ago
离散时间 ReLU 循环神经网络的稳定性和性能分析
用维度恒定的非线性神经网络的充分稳定性和 l2 - 增益性能从理论上证明了通过结合李亚普诺夫 / 耗散理论和重复 ReLU 满足的二次约束（QCs）导出。我们使用已知的标量 ReLU 的性质，创作了一般类的重复 ReLU 的 QC。稳定性和
PDF2 months ago
深度神经网络与任意维度的任意阶有限元方法
采用深度神经网络和 ReLU 激活函数，本研究证明能够在任意维度的分形网格上表示 Lagrange 有限元函数。通过引入基函数的新型全局公式，基于几何分解和高维分形网格及质心坐标函数的两个关键性质，该表示理论为这些深度神经网络的自然近似结果
PDF6 months ago
ReLU 神经控制屏障函数的精确验证
通过使用 ReLu 激活函数的前馈神经控制屏障函数，本研究提出了一种新颖的确保安全性的条件和算法，解决了难以在非光滑控制屏障函数上进行传统安全验证的问题。
PDF9 months ago
利用随机向量函数链接网络进行高效均匀逼近
本文证明了使用指数级输入层宽度的 Random Vector Functional Link（RVFL）神经网络和 ReLU 激活函数，可以在 L∞误差和高斯内部权重下近似 Lipschitz 连续函数，同时证明了基于概率论和谐分析的证明方
PDFa year ago
ICML深度神经网络的惰性训练下的良性过拟合
该论文探讨和证明了过参数化的深度神经网络利用懒惰训练策略可以实现贝叶斯最优测试误差，同时获得（几乎）零训练误差，并提出了三个相关概念的统一。
PDFa year ago
混合 Zonotope 精确表示 ReLU 神经网络
本文使用混合 zonotope 等价于具有 ReLU 激活函数的前馈全连接神经网络的表示，证明了二进制变量的复杂性等于网络中神经元的总数，因此其大小线性增长，并通过非线性函数逼近、MPC 闭环可达性和验证以及 MNIST 数据集上的分类回归
PDFa year ago
POLAR-Express: 神经网络控制系统的高效而精确的正式可达性分析
本文介绍了 POLAR-Express，一种用于验证神经网络控制系统的安全性的高效而精确的正式可达性分析工具。该工具使用泰勒模型算术来跨越神经网络层层传播泰勒模型从而计算神经网络函数的近似值，能够分析任何具有连续激活函数的前馈神经网络。文章
PDFa year ago
大多数激活函数可在没有过度深度的情况下赢得彩票
深度神经网络训练中的强引理假设提出了剪枝的潜力，在 ReLU 激活函数网络中，通过从随机初始化的神经网络的子网络近似目标网络，可以用宽度呈对数比例增加、深度双倍的神经网络表示目标函数，文中证明可以实现深度加 1 的神经网络，预期可以在常用深
PDF2 years ago
ICML两层 ReLU 网络的快速凸优化：等价模型类和锥分解
本文研究了基于 ReLU 激活函数的两层神经网络的凸优化及其群 lasso 正则化和加速近端梯度算法，该方法在 MNIST 和 CIFAR-10 数据集的图像分类方面表现良好。
PDF2 years ago
基于抽象的神经网络输出值范围分析
本研究探讨了基于 ReLU 激活函数的前馈神经网络的输出范围分析问题，并提出了使用区间神经网络作为抽象技术来简化计算的方法，该方法能够将输出范围分析问题转化为混合整数线性规划问题。实验结果表明了计算时间和计算输出范围精度之间的权衡关系。
PDF4 years ago
通用逼近的最小宽度
使用 ReLU 激活功能的网络的最小宽度是 $L^p$ 函数的普遍逼近所需的确切字符，是输入维度 $d_x+1$ 和输出维度 $d_y$ 的最大值。
PDF4 years ago
ICCVSaliency 图为什么嘈杂？嘈杂 Saliency 图的原因和解决方案
本文通过提出新的假设 — 噪声可能出现在 Saliency Map 中，因为无关特征会经过 ReLU 激活函数，提出了一种称为 Rectified Gradient 的方法，通过层次阈值反向传播来缓解这个问题，并在 CIFAR-10 和 I
PDF5 years ago
具有神经网络控制器的分段线性系统可达集估计与安全验证
本文提出了使用神经网络控制器的分段线性系统的可达集估算和安全性验证问题，并开发了一种逐层方法来计算修正线性单位激活函数神经网络的输出可达集。基于神经网络控制器输出可达集，可以迭代地为给定的有限时间间隔估算分段线性反馈控制系统的输出可达集，并
PDF6 years ago
使用 ReLU 激活函数的神经网络可达集计算与安全验证
该论文探讨了一类由 ReLU 激活函数构成的神经网络的输出可达集计算和安全验证问题，并提出了一种逐层计算输出可达集的方法，通过计算输出可达集的结果，可以通过检查不安全区域与由一组多面体描述的输出可达集的交集来执行简单有效的安全验证。
PDF7 years ago