relu networks | BriefGPT - AI 论文速递

关键词relu networks

搜索结果 - 60

ICMLReLU 网络输入优化的激活 - 下降正则化
我们提出了一种新的 ReLU 网络输入优化方法，明确考虑了激活模式变化的影响。我们分析了输入空间和激活模式空间中的局部优化步骤，提出了具有优越局部下降性质的方法。为了实现这一目标，我们将激活模式的离散空间转化为可微分表示，并提出了改进每个下
PDFa month ago
ICML保持势能：欧几里得梯度流之外的守恒定律
本文研究了非欧几里德几何和基于动量的动力学中的守恒定律及其存在与原则，发现与梯度流情况不同，动量动力学中的守恒定律具有时间依赖性，转换为动量动力学时常常观察到守恒损失现象，线性网络中所有的动量守恒定律（数量小于梯度流情况）可以被确定，而 R
PDFa month ago
使用随机浅层 ReLU 网络进行逼近，及其在模型参考自适应控制中的应用
用 ReLU 网络和随机生成的权重和偏置，在高概率下达到高于所需精度的近似，填补了关于神经网络控制中的近似性质的证明缺失。
PDF3 months ago
一个镜面图书馆：低维深度神经网络是具有反射特征的凸 Lasso 模型
通过证明，我们发现在一维数据上训练神经网络等效于求解一个带有固定、明确定义的特征字典矩阵的凸 Lasso 问题。具体的字典取决于激活函数和深度。我们研究了具有分段线性激活函数的两层网络，具有最多 4 层的深窄 ReLU 网络，以及具有符号激
PDF4 months ago
有界无穷宽神经网络的深度分离
研究无穷宽度神经网络中的深度分离，该复杂性由权重的整体平方 L2 范数控制（网络中所有权重的平方和）。在以往的深度分离结果中，关注的是宽度方面的分离，这样的结果无法揭示深度是否决定了在网络宽度无限时是否可能学习出具有良好泛化性能的网络。本文
PDF5 months ago
ReLU 神经网络的凸松弛在多项式时间内近似全局最优
本文研究了采用权重衰减正则化的两层 ReLU 网络与其凸松弛之间的最优性差距，揭示了在随机训练数据情况下原问题与其松弛之间相对最优性差距可以通过 O (√log n) 的因子进行界定，且应用简单的算法可在多项式时间内解决原非凸问题，此外，在
PDF5 months ago
任务结构和非线性性共同决定了学习到的表征几何
通过研究具有一个隐藏层的网络的学习动态，我们发现网络的激活函数对于表示几何的影响强于预期：Tanh 网络倾向于学习反映目标输出结构的表示，而 ReLU 网络保留了更多关于原始输入结构的信息。这种差异在广泛的参数化任务中一直存在，我们在这些任
PDF5 months ago
通过感知机的最小范数插值：显式正则化和隐式偏差
研究在使用 ReLU 网络时，通过对已知区域进行插值，证明了经验风险最小化器在数据点和参数数目趋向无穷大时收敛到最小范数插值者，当且仅当对应于网络宽度和数据点增长的特定速率消失时对权重衰减正则化项进行惩罚，在显式和隐式正则化情况下，数值方法
PDF8 months ago
ReLU 网络在凸松弛下的表达能力
通过对常用凸松弛方法进行深入研究，我们发现：（i）更高级的松弛方法允许更多单变量函数被精确分析的 ReLU 网络表达，（ii）更精确的松弛方法能够允许指数级规模的解空间编码相同函数的 ReLU 网络，以及（iii）即使使用最精确的单神经元松
PDF8 months ago
SmoothHess: 通过斯坦・引理实现 ReLU 网络特征交互
通过 Stein's Lemma 和高斯卷积方法，我们提出了 SmoothHess，一种用于估计 ReLU 网络中二阶特征交互的方法，它不需要对 ReLU 网络架构进行修改，可以明确控制平滑程度，并验证其在基准数据集和现实世界的医学呼吸功能
PDF8 months ago
网络中输入分布和线性区域之间相互作用的演变
对于基于 ReLU 的深度神经网络，我们通过计算线性凸区域的数量，证明了任何一维输入都需要至少一定数量的神经元来表达。我们还发现对于相同的网络，复杂的输入会限制其表达线性区域的能力。此外，我们揭示了 ReLU 网络在训练过程中决策边界的迭代
PDF8 months ago
用尺度不变神经网络逼近正齐次函数
通过 ReLu 网络，我们研究解决线性逆问题的可能性。我们证明了使用一个隐藏层的 ReLu 网络无法恢复 1 稀疏向量，但通过两个隐藏层可以以任意精度和任意稀疏度稳定地进行近似恢复，并且我们还将结果推广到包括低秩矩阵恢复和相位恢复在内的更广
PDFa year ago
使用浅层单变量 ReLU 网络的噪声插值学习
研究了使用最小范数两层 ReLU 网络进行有噪单变量回归时的渐近过拟合行为，发现对于 L1 损失和 p<2 的任何 Lp 损失缓解了过拟合，但对于 p≥2 却是灾难性的。
PDFa year ago
深度神经网络的稀疏感知泛化理论
本文研究了深度神经网络的泛化能力和节点稀疏性之间的关系，通过开发一个基于减小的有效模型大小的框架来证明了稀疏和泛化之间的基本权衡关系，并提出了一种新的方法来分析这个问题。
PDFa year ago
使用铰链损失函数训练浅层 ReLU 网络的噪声数据：过拟合何时发生且是否良性？
本文探讨了使用梯度下降和 hinge loss 在嘈杂数据上训练的两层 ReLU 网络的良性过拟合问题，研究了线性可分数据，给出了干净数据边距的条件，得到了良性过拟合，过拟合和非过拟合三种不同的情况，并揭示了神经元训练过程中的两个不同阶段。
PDFa year ago
偏强凸性条件下 Nesterov 动量法加速深度神经网络的收敛
本文提出一类新的目标函数，其中只有参数的一个子集满足强凸性，并证明 Nesterov 的动量在这个目标类上实现了加速收敛，其中包括用于深度 ReLU 网络的两种实现方法，这是第一篇证明非平凡神经网络结构加速收敛率的论文。
PDFa year ago
有效学习率的扩展：早期训练中批量归一化的风险
本文研究了深度规范化 ReLU 网络的早期训练阶段，并通过研究有效学习率（LR）来解释梯度流的影响，发现使用大 LR 类似于对非线性 ODE 应用显式求解器，在第一步后导致底层出现过振荡和梯度消失，因此在深度，LR 和动量（可选）上需要进行
PDFa year ago
ReLU MLP 中 $μ$P 学习率的深度依赖性
本研究考虑了具有均场权重初始化的宽度为 $n$ 且深度为 $L$ 的随机全连接 ReLU 神经网络，在此基础上研究了随着 $n$ 和 $L$ 的变化，最大更新学习率的依赖性以及其关于 $L$ 的尺度变化。结果表明，除了第一层和最后一层的权重
PDFa year ago
解析训练二层 ReLU 网络
本文研究两层神经网络的 ReLU 激活函数和平方损失函数的优化方法，利用一种交替迭代算法寻找损失函数的关键点，实验结果显示该算法能够比随机梯度下降和 Adam 优化器更快、更准确地求解深度值，并且该方法没有调参困扰。
PDFa year ago
ICLR具有条件计算的神经网络的记忆容量
研究神经条件计算的基本限制和记忆能力，展示条件 ReLU 网络可以用更少的算术操作完成相同任务，还介绍了一种将无条件网络合成为条件网络的有效方法。
PDFa year ago