BriefGPT.xyz
Ask
alpha
关键词
jacobian matrix
搜索结果 - 4
ICML
使用归一化流理解扩散得分匹配
本文利用正则化流对扩散匹配进行建模,使扩散匹配等同于转换空间中的原始得分匹配,扩散矩阵是流雅可比矩阵的倒数,建立其与黎曼流形的联系,并将其扩展到连续流中。
PDF
3 years ago
通过利用雅可比矩阵的低秩结构实现神经网络的泛化保证
本文探讨了神经网络架构的泛化能力,发现训练和泛化在整洁和结构化的数据集上很容易,在嘈杂和非结构化的数据集上则更难。通过使用 “信息” 空间和 “噪声” 空间,本文证明了即使是常数宽度的神经网络,对于足够好的数据集也可以证明泛化。
PDF
5 years ago
RecurJac:一种有效的递归算法,用于绑定神经网络的 Jacobi 矩阵及其应用
本文提出了一种名为 RecurJac 的递归算法,用于计算神经网络对输入的 Jacobian 矩阵的每个元素的上下界,可以有效地获得(本地)Lipschitz 常数等网络属性,同时提高网络鲁棒性验证结果的质量。
PDF
6 years ago
基于雅可比草图的随机准梯度方法:方差缩减
JacSketch 是一种基于随机梯度下降和随机数值线性代数的方法,通过 sketching 方式用梯度的 Jacobian 矩阵估计梯度;此方法可以应用于 SAGA 方法的多种变体,包括重要性采样,具有较优的收敛速率。
PDF
6 years ago
Prev
Next