stable rank | BriefGPT - AI 论文速递

关键词stable rank

搜索结果 - 6

用于比较解释模型的概率 Lipschitzness 和稳定秩
该研究论文探讨了可解释性模型中概率 Lipschitz 性以及稳定秩与神经网络的关联，并提出了一种新的指标，正则灵巧度，用于比较可解释性模型的稳健性。研究还揭示了稳定秩与可解释性模型的稳健性之间的关联。
PDF4 months ago
对近似正交数据的两层 ReLU 和 Leaky ReLU 网络的梯度下降的隐式偏差
針對兩層完全連接的 (leaky) ReLU 神經網絡，研究梯度下降的隱含偏差，並證明梯度下降在訓練中會找到收斂於 1 的具有穩定排名的神經網絡，對於 ReLU 激活函數則收斂於一個上界常數，同時所有訓練數據點的標準化邊界漸進地相同。實驗結
PDF8 months ago
乌贼：无需所有调整的低秩模型训练
提出了一种名为 Cuttlefish 的自动低秩训练方法，它通过观察在完整秩训练的几个时期后，每层的稳定秩（即真实秩的近似值）稳定为一个常数值，从而消除了调整低秩模型训练中的多个超参数的需求。Cuttlefish 在所有层的稳定秩收敛后从完
PDFa year ago
MM关于深度神经网络中稳定秩的影响
本研究探讨了深度神经网络模型稳定秩的空间，分析了前向动力学、初始化、训练和表达性等方面，并通过实证分析表明，仅稳定秩初始化即可加速收敛速度。
PDF3 years ago
MM稳定秩下的最优近似矩阵乘积
用子空间嵌入保证黑盒方式证明，通过降维映射可实现近似矩阵乘法的谱范数保障，其中降维映射具有 O（~r/ε^2）行，且优于以前的工作 [MZ11，KVZ14]，对于任何混淆的降维映射也是最佳的。
PDF9 years ago
高维分布的线性映射小球概率
研究随机向量的集中性质，其中 X =（X1，...，Xn）具有独立坐标，而 A 是给定的矩阵。我们证明，只要 X 的分布在线上很好地分布，AX 的分布就会在空间中得到很好的展开。
PDF10 years ago