linear networks | BriefGPT - AI 论文速递

关键词linear networks

搜索结果 - 11

ICML无偏差 ReLU 网络何时类似于线性网络？
我们研究了无偏差 ReLU 网络的表现力和学习动态。我们首先展示了两层无偏差 ReLU 网络的有限表现力：它们只能表达线性的奇函数。然后我们证明，在数据对称条件下，这些网络具有与线性网络相同的学习动态，从而得到了某些特定两层无偏差 ReLU
PDF16 days ago
线性网络中的混合动力学：统一惰性和活跃状态
线性网络的训练动力学在两个不同的设置中得到了深入研究：懒惰模式和均衡 / 活跃模式，具体取决于网络的初始化和宽度。我们提供了一个令人惊讶地简单的统一公式，用于描述学习矩阵的演化，其中包括懒惰模式和均衡模式，还有两者之间的混合模式。
PDFa month ago
ICML保持势能：欧几里得梯度流之外的守恒定律
本文研究了非欧几里德几何和基于动量的动力学中的守恒定律及其存在与原则，发现与梯度流情况不同，动量动力学中的守恒定律具有时间依赖性，转换为动量动力学时常常观察到守恒损失现象，线性网络中所有的动量守恒定律（数量小于梯度流情况）可以被确定，而 R
PDFa month ago
探索神经网络空间：星状和测地连通性
神经网络景观中的连接模式包括线性路径和中心连接，提供了从一个极小值到另一个极小值的连接途径，同时突显景观在超参数化情况下可能具有凸性。
PDF3 months ago
ParsNets：一种用于零样本学习的简约正交低秩线性网络
该研究提出了一种名为 ParsNets 的零样本学习的新颖、简洁但高效的设计。该设计利用设备友好的线性网络的组合，具有正交性和低秩性质，以达到与现有深度模型相当甚至更好的性能。通过构建高秩距离约束和低秩约束，形成不同类别的正交子空间，并确保
PDF7 months ago
现代神经网络结构的克罗内克分解近似曲率
使用 K-FAC 方法优化神经网络架构中的线性权重共享层，在不同的设置下展开和缩小两种变体都能加快训练速度，缩减了计算成本并提升了训练效果。
PDF8 months ago
线性估计器中的领悟 —— 一个可解决的模型，不需要理解的领悟
模型在训练数据拟合后依然能够泛化的现象被称为 “理解”（grokking），本文通过分析和数值实验发现线性网络在简单的教师 - 学生设置中，通过高斯输入也能够出现 grokking 现象。我们推导出模型的训练动态，并提供关于 grokkin
PDF8 months ago
线性卷积网络的函数空间和临界点
本文研究了带有一维卷积层的线性网络的几何学问题，描述了网络的体系结构对函数空间的维度、边界和奇异点的影响，并研究了训练带有平方误差损失的网络的优化问题和网络参数化映射的关键点。
PDFa year ago
对角线性网络中的鞍点动态
本文探讨了超参数初始化趋近于零时，激活集与损失函数极小值之间的关系，证明了激活集的约束下，梯度流跳跃到另一个鞍点的动态可作为增量学习的过程，并采用类似于 Lasso 路径计算的 Homotopy 算法解决了实现上的难点。
PDFa year ago
梯度下降对齐深度线性网络的层
本篇论文研究了在线性可分数据上应用于深度线性网络的梯度流和梯度下降的风险收敛和渐进权重矩阵对齐 —— 一种隐式正则化方法，详细说明了在套用于严格递减损失函数时（梯度下降的递减步长也是如此）：(i) 风险趋近于 0；（ii）标准化的第 i 个
PDF6 years ago
可分数据上梯度下降的收敛性
对采用严格单调尾部的损失函数（如对数损失）在可分离数据集上利用梯度下降时的隐式偏差进行了详细研究，证明了对于一大类超多项式尾部损失，梯度下降迭代可以收敛到任意深度的线性网络的 L2 最大边距解。
PDF6 years ago