multilayer neural networks | BriefGPT

关键词multilayer neural networks

搜索结果 - 11

基于 Betti 数的损失面拓扑描述
通过对多层神经网络中的损失函数的拓扑度量，研究比较深层和浅层架构的复杂性以及其受隐藏单元数量、训练模型和激活函数的影响，揭示了一些特定情况下，添加正则项或在前馈网络中实施跳跃连接等对损失拓扑没有影响。
PDF6 months ago
拟合值迭代方法在双因果最优输运中的应用
本文提出了一种拟合值迭代（FVI）方法，用于计算具有适应性结构的 bicausal 最优传输（OT）问题，证明了样本复杂性，并展示了多层神经网络的适当结构能够满足所需的关键假设。数值实验表明，FVI 在可扩展性方面优于线性规划和自适应 Si
PDFa year ago
ICML过参数神经网络的随机梯度下降解的景观连通性和降维稳定性
研究了多层神经网络的优化问题，通过引入随机梯度下降和过度参数化，证明了神经网络的优化路径具有线性特性，且稳定性越来越高，去除部分神经元不影响结果。
PDF5 years ago
二分法与概括：PAC-Bayesian 二元激活深度神经网络
该论文基于 PAC-Bayesian 理论对具有二进制激活的多层神经网络进行了综合研究，并提供了一种端到端框架来训练这种网络以及一些关于二进制激活神经网络的泛化界限。在实际数据集上进行的大量数值实验显示，该方法的表现非常出色。
PDF5 years ago
多层神经网络学习动力学的平均场极限
本文发现随着神经元数量的增加，经过适当的缩放和随机梯度下降动力学，多层神经网络的行为变得独立于神经元数量，发展了一个形式体系来捕捉这种多神经元限制行为，相关实验证实了这种独立性的存在。
PDF5 years ago
多层神经网络中指数衰减的次优局部极值
通过证明，使用具有分段线性单元、单输出和二次损失的一层隐藏层的 MNN，在标准正常输入和更现实的数量的隐藏单元情况下，可以消失指数数量的不同可微区域的的局部最小值，以及通过数值演示达到的结果，发现在 CIFAR 上只有 16 个隐藏神经元时
PDF7 years ago
多层神经网络训练无坏局部最小值：针对数据的独立误差保证
通过平滑分析技术，我们对具有分段线性激活函数、二次损失和单输出的多层神经网络（MNN）在可微的局部极小值处的训练损失提供保证。特别地，我们证明对于一个具有一个隐藏层的 MNN，几乎每个数据集和 dropout-like 噪声实现的每个可微局
PDF8 years ago
使用深度泰勒分解解释非线性分类决策
本文介绍了一种新的方法来解释深度学习模型的分类决策，特别是在图像分类方面，该方法利用了所提出的深度泰勒展开技术，可以提高模型的可解释性并从输入元素的贡献中得出解释。
PDF9 years ago
可扩展学习贝叶斯神经网络的概率反向传播
本论文介绍了一种学习贝叶斯神经网络的新方法，称为概率反向传播 (PBP)，通过前向概率传递和后向梯度计算，PBP 比现有的贝叶斯技术更具可伸缩性，并提供了准确的网络权重后验方差估计。
PDF9 years ago
NIPS探索深度和循环结构用于最优控制
本文研究了多层神经网络在控制方面的应用，特别是在连续高维动作任务中，通过强化学习训练后实现了控制策略，结果表明可以成功训练具有成千上万个参数的神经网络控制器，并比较了各种不同结构。文章讨论了这一问题与以往有监督知觉任务的区别，呈现了实验结果
PDF11 years ago
多层神经网络学习和泛化的直接方法：权重空间结构和内部表示
对于多层神经网络中的权值空间，MLN 是精确可解的模型，具有复制对称性，通过内部表达与训练集相关的偶奇和委员会机器等，推导其学习和泛化能力，并找到了一些新的精确结果。
PDF29 years ago