relu neural network | BriefGPT

关键词relu neural network

搜索结果 - 7

具有 ReLU 神经网络的随机赌博机
考虑具有 ReLU 神经网络结构的随机赌博问题，提出了一种 OFU-ReLU 算法，通过在探索阶段准确学习 ReLU 参数并将问题转化为线性赌博问题，在转换特征空间中实现平衡的探索和利用，并提供与模型参数无关的理论保证。
PDF2 months ago
一种基于结构引导的浅层 ReLU 神经网络的高斯牛顿方法
本文提出了一种基于结构引导的 Gauss-Newton 方法，用于使用浅层 ReLU 神经网络求解最小二乘问题。该方法有效地利用了最小二乘结构和目标函数的神经网络结构，通过将网络的隐藏层和输出层的权重和偏置分别归类为非线性和线性参数，方法在
PDF3 months ago
ReLU 网络训练的多项式时间解决方案：基于最大割和 zonotopes 的复杂性分类
研究了带有权重衰减正则化的两层 ReLU 神经网络的训练复杂性，证明了近似 ReLU 网络的困难程度不仅与 Max-Cut 问题的复杂性相对应，而且在某些特殊情况下确切对应。具有多项式时间近似保证和近似困难性结果，以及对三种不同类型训练数据
PDF8 months ago
ReLU 神经网络，多面体分解和持久同调
在 ReLU 神经网络中，由于有限的多面体分解与对应的有限的对偶图的强大作用，它可以与持久性同调一起用于检测样本中输入空间的流形的同调信号。
PDFa year ago
理解 ReLU 网络的多阶段优化动态和丰富非线性行为
本研究通过对 ReLU 神经网络的训练过程进行理论性分析，揭示了从随机初始化到最终收敛的整个优化过程，并发现了四个不同阶段，显示了一个从简单到复杂的总体趋势，此外还可以精确地识别和捕捉特定的非线性行为，如初始凝结、鞍点到高原动态、平台逃逸、
PDFa year ago
关于使用双层神经网络参数化的 Fitted Q-Iteration 的全球收敛性
本文研究了一种采用双层 ReLU 神经网络参数化的 Fitted Q-Iteration 算法，通过估计 Q-function 的凸优化问题来实现每次迭代的 Q-function，证明了该方法在具有计数状态空间的情况下可以实现采样复杂度为
PDF2 years ago
浅层 ReLU 神经网络的过度参数化对优化空间的影响
本文研究了 ReLU 神经网络中的过度参数化对优化景观的影响，证明了当教师和学生网络拥有相同数量的神经元时，目标函数在全局最小值周围具有强凸性，但在任何超参数化量之后甚至没有局部凸性，而对于大多数方向来说保持一点强凸性，并在此属性之下展示优
PDF4 years ago