BriefGPT.xyz
大模型
Ask
alpha
关键词
overparameterized
搜索结果 - 4
在随机二元网络中找到一切
本文证明，过度参数化的、随机初始化的神经网络可以裁剪成仅由二进制 ±1 权重构成的多项式深度与宽度的网络，以任意精度逼近目标网络。
PDF
3 years ago
ICML
使用 1000 层图神经网络进行训练
本研究提出了可逆连接、分组卷积、权重绑定和平衡模型以提高图神经网络的内存和参数效率，并发现可逆连接结构与深层神经网络架构相结合，使得训练的过参数化 GNNs 在多个数据集上显著优于现有方法。
PDF
3 years ago
超参数非线性模型的随机镜像下降：收敛性，隐式正则化和泛化
本研究主要探讨过参数模型中采用 stochastic mirror descent 方法，在足够小的步长下，通过初始化接近全局最小值，其可以收敛和迭代到一种接近 Bregman 散度且具有更好泛化性能的解决方案，并探究该方法中不同的隐式正则
→
PDF
5 years ago
过度参数化的非线性学习：梯度下降是否走过了最短路径？
该论文讨论在数据过度参数化时，第一阶段优化方案（如随机梯度下降）的性质。作者发现，当损失函数在初始点的最小邻域内具有某些属性时，迭代会以几何速率收敛于全局最优解，会以接近直接的路线从初始点到达全局最优解，其中，通过引入一个新的潜力函数来作为
→
PDF
6 years ago
Prev
Next