hessian | BriefGPT - AI 论文速递

关键词hessian

搜索结果 - 48

高维分析揭示保守的锐化和随机稳定边缘
在全批量情况下，训练损失 Hessian 的大特征值动态具有某些显著稳定的特征。在随机设置中，特征值的增长速度较慢，我们称之为保守锐化。我们提供了一个简单的高维模型的理论分析来解释这种减速现象。我们还展示了随机稳定边界的替代解释，它在小批量
PDF2 months ago
为什么变形器需要 Adam：从 Hessian 的角度看
SGD 在 Transformers 上表现明显不如 Adam，我们通过 Hessian 镜头提供了 SGD 在 Transformers 上失败的解释：(1) Transformers 是 “异质” 的：参数块之间的 Hessian 频谱
PDF4 months ago
LLM 模型的无痛二阶微调：基于黑塞矩阵的零阶优化器
使用对角度黑塞矩阵增强零阶优化算法以提高大型语言模型的微调效果，显著减少训练步骤并有效增强模型准确性。
PDF4 months ago
迈向量化 Adam 的预处理效果
Adam 算法的预调节效果和其在减小病态问题方面的应用进行了详细的分析，为二次函数情况下量化了 Adam 算法能够对海森矩阵条件数的依赖程度，在一定条件下能优于梯度下降算法。
PDF5 months ago
被忽略的 Hessian 成分解释了在锐度正则化中的谜团
最近的研究表明，诸如 SAM 之类的方法能够明确或隐含地对二阶信息进行惩罚，从而提高深度学习的泛化能力。然而，权重噪声和梯度惩罚等看似类似的方法通常无法提供这样的好处。本文通过损失函数的海塞矩阵结构展示了这些差异可以得到解释。首先，我们展示
PDF5 months ago
关于步长调整和渐进锐化之间的相互作用
最近的实证研究发现，深度学习模型的一个有趣特性是通过优化过程中最大特征值（海森矩阵的最大特征值）逐渐增加，直到在关键值处稳定，此时优化器在稳定边缘操作，给定固定步长；我们通过实证研究了使用步长调节器（如 Armijo 线搜索和 Polyak
PDF7 months ago
MM大深度量子神经网络中的动力学相变
量子神经网络的训练动力学可以用广义的 Lotka-Volterra 方程描述，导致了一个动力学相变。当代价函数的目标值从上方穿过最小可达值到下方时，动力学从冻结核相位变为冻结误差相位，显示了量子神经正切核和总误差之间的二元性。在两个相位中，
PDF7 months ago
SmoothHess: 通过斯坦・引理实现 ReLU 网络特征交互
通过 Stein's Lemma 和高斯卷积方法，我们提出了 SmoothHess，一种用于估计 ReLU 网络中二阶特征交互的方法，它不需要对 ReLU 网络架构进行修改，可以明确控制平滑程度，并验证其在基准数据集和现实世界的医学呼吸功能
PDF8 months ago
基于信息论的随机梯度优化的置信区间
使用信息论信任域优化算法 (arTuRO)，通过模型化网络参数为高斯分布并使用基于 Kullback-Leibler 散度的信任域，我们利用较少的一阶信息从随机梯度中近似计算 Hessian 的对角元素，构建随时间变化的期望 Hessian
PDF8 months ago
SHOT: 抑制优化轨迹上的 Hessian 对于基于梯度的元学习
本文中，我们假设基于梯度的元学习在内循环中隐式地压抑了海森矩阵。基于这一假设，我们提出了一种名为 SHOT（抑制优化轨迹上的海森矩阵）的算法，通过最小化目标模型和参考模型参数之间的距离来抑制内循环中的海森矩阵。尽管处理了高阶项，SHOT 并
PDF9 months ago
基于锐度感知的最小化与稳定边缘
最近的实验证明，使用梯度下降的神经网络在损失的 Hessian 算子范数增长到约等于 2 / 步长 η 后，就开始在该值周围波动。我们对 Sharpness-Aware Minimization（SAM）进行了类似的计算，得到了一个基于梯度
PDF9 months ago
ICCV理解 Hessian 对齐用于领域普适性
通过分析深度学习模型在领域普适性中属分类器头部 Hessian 矩阵和梯度的角色，我们提出了两种简单而有效的方法来匹配分类器头部 Hessians 和梯度，并验证了所提方法在不同场景下的普适性能力。
PDF10 months ago
mL-BFGS: 基于动量的分布式大规模神经网络优化的 L-BFGS
mL-BFGS 是一种基于动量的轻量级 L-BFGS 算法，为大规模分布式深度神经网络 (DNN) 优化带来了拟牛顿法在大规模训练中的潜力。mL-BFGS 通过引入几乎无额外计算成本的动量方案，并显著减少 Hessian 中的随机噪声，从而
PDFa year ago
深度矩阵分解中平坦正则化的归纳偏差
在学习从线性度量中的深度线性网络时，最小化 Hessian 矩阵的迹大致相当于最小化相应端到端矩阵参数的 Schatten 1 - 范数，这进而导致更好的概括。
PDFa year ago
ADLER -- 一种基于海森矩阵的自适应学习速率策略
本研究基于深度模型，提供了一种基于局部二次逼近的自适应 SGD 学习率策略，并将其与格点搜索 SDG 学习率及 Gauss-Newton 近似法进行比较。该策略的 Hessian 矩阵的正半定估计精确度较高，可以在分类任务中对不同结构（有或
PDFa year ago
寻找局部极小值点的双时间尺度外推法
利用动力学理论，我们证明了双时间尺度外推梯度法可以成为面对极小极大问题的一个可行解决方案，并消除了先前的假设条件使其收敛于满足局部极小极大点的二阶必要条件的点。
PDFa year ago
关于光滑性和等周性下 Metropolis-Adjusted Langevin 算法混合的简单证明
本研究研究了在 $\mathbb {R}^d$ 上采样目标密度的 Metropolis-Adjusted Langevin 算法的混合时间，发现它在一定条件下的混合时间为 $O ((L\Upsilon)^{\frac12}/\psi_\mu
PDFa year ago
通过拓扑排序进行因果发现的扩散模型
提出了一种利用扩散概率模型的拓扑序算法 (DiffAN) 来进行因果发现，可以在提供准确有限子集的情况下更新学习到的海森矩阵，并且得到了更高的可扩展性，可以处理高达 500 个节点和 10^5 个样本数据集，并表现出与最先进的因果发现方法相
PDF2 years ago
ICLR自稳定性：梯度下降在稳定边缘的隐性偏差
本研究发现梯度下降在稳定边缘状态下具有自我稳定性和隐式偏差，可以通过投影梯度下降来描述，并对其在训练过程中的损失、尖锐度和偏差进行了详细预测和验证。
PDF2 years ago
用于高效数据处理的自适应二阶子集算法
提出 AdaCore 方法，该方法利用数据的几何形状，用指数平均估计的 Hessian 近似曲率，选择加权的子集，提供与使用完整数据的梯度预处理的负梯度近似，实现高效的机器学习训练，并对其给出理论支持和证明，相比基线提取的 coresets
PDF2 years ago