neural network width | BriefGPT

关键词neural network width

搜索结果 - 4

消息传递神经网络中过度压缩的影响：宽度、深度和拓扑的影响
通过理论分析，证明神经网络节点宽度可以缓解过度压缩问题，而神经网络深度则无法解决此问题。节点距离越远的高通勤时间节点之间出现过度压缩现象，而图形改写属于解决此问题的一类方法。
PDFa year ago
迈向更好的准确性和效率平衡：分而协同训练
通过将大型神经网络分解成多个小型网络，并通过共同训练和学习来提高网络的多样性，小型网络可以在不增加参数和 FLOPs 的情况下实现更好的集成性能和更快的推理速度。我们在八个不同的神经结构和常见基准测试中验证了该论点，代码可在 https:/
PDF4 years ago
更宽的神经网络是否真正有助于对抗鲁棒性？
本文研究神经网络宽度对模型稳健性的影响，发现模型稳健性与天然精度和扰动稳定性的权衡密切相关，虽然更宽的网络可以实现更好的天然精度，但也可能导致更差的扰动稳定性从而降低模型稳健性。因此，我们提出了自适应扩大正则化参数 lambda 的 “Wi
PDF4 years ago
ICLR关于训练深层线性 ResNets 的全局收敛性
本研究讨论使用梯度下降和随机梯度下降算法进行训练具有 $L$ 层隐藏层的线性残差神经网络（ResNets）所需的网络宽度和线性变换；并且证明了在特定的线性变换和零初始化条件下，GD 和 SGD 算法能够收敛到最小训练误差的全局最小值。
PDF4 years ago