flat minima | BriefGPT - AI 论文速递

关键词flat minima

搜索结果 - 14

泛化与平坦极小之间的 PAC-Bayesian 联系
现代机器学习通常涉及超参数设置（训练参数数量大于数据集大小），它们的训练结果不仅在训练数据上表现良好，而且具有良好的泛化能力。本文通过与 PAC-Bayes 工具箱相结合的 Poincaré 和 Log-Sobolev 不等式提供了新的包含
PDF5 months ago
基于强凸性引导的超参数优化方法用于更平缓的损失函数
我们提出了一种新颖的白盒方法来进行超参数优化，通过最小化损失函数的强凸性来改善其平坦性，利用神经网络的结构推导出近似求解强凸参数的闭式方程，并随机搜索使其最小化的超参数配置，通过在 14 个分类数据集上的实验，我们展示了我们的方法在运行时间
PDF5 months ago
过度参数化对锐度感知最小化的影响：实证与理论分析
训练过参数的神经网络可以得到相同训练损失水平但具有不同泛化能力的极小值。本文分析了过参数化对锐度感知最小化策略（SAM）行为的关键影响，并提供了经验和理论结果，表明过参数化对 SAM 具有重要影响。具体而言，我们证明了在随机设置中 SAM
PDF7 months ago
通过较大的学习速率探索领域泛化的平坦极小值
通过引入称为 Lookahead 的训练策略，结合了大学习率和权重插值的方法，提高了模型在域泛化中的泛化能力，并且在分类和语义分割域泛化基准上取得了最先进的性能。
PDF10 months ago
MM如何逃离尖锐的极小值
探讨了如何高效地找到近似的优化算法的平坦极值，提出了基于梯度和随机扰动的算法，在训练数据成本函数的情况下，提出了更快的算法。
PDFa year ago
ECCV针对失败预测的置信度校准反思
研究表明，许多置信度校准方法对于失败预测通常是无用或有害的；作者提出了一个假设平坦极小值有助于失败预测，并通过实验证实了这一假设。
PDFa year ago
CVPR梯度范数感知的最小化策略：优先寻找一阶平缓区域并提高泛化性能
本文提出了一种基于一阶平坦度的新颖训练过程 ——Gradient norm Aware Minimization（GAM），该算法可寻找具有相对于所有方向均匀小曲率的最小值，此外使用 SAM 算法也能找到更加平坦的最小值和更好的泛化能力。
PDFa year ago
EMNLPGA-SAM: 基于梯度强度的自适应锐度感知优化算法，以提高泛化能力
本文从理论角度分析了局部最小值的平坦程度与模型泛化性能的关系，提出了基于梯度强度的自适应 Sharpness-Aware Minimization 算法（GA-SAM）来发现更具鲁棒性的平坦局部最小值，其在自然语言任务上的表现令人满意。
PDF2 years ago
Fisher SAM：信息几何和锐度感知的最小化
本文提出了一种名为 Fisher SAM 的新方法，通过使用 Fisher 信息中的椭球替代 Euclidean ball 来定义邻域，提高了 neural network 的准确性，应用于多个 benchmark datasets。
PDF2 years ago
ICLR熵梯度下降算法与宽平坦最小值
论文讨论了神经网络的经验风险景观的平坦极小值的特性，提出了增加最大平坦度算法，可以得到更好的分类效果。
PDF4 years ago
ICML深度网络平坦极小值的独特特性
研究表明，随机梯度下降有一个偏好于平滑最小值的隐含偏差。本文研究发现，在具有二次损失的线性神经网络训练中，线性 ResNets 的零初始化必然收敛于所有最小值中最平滑的最小值，这些最小值对应着接近平衡网络。另外，相邻层的权重矩阵在平坦的极
PDF4 years ago
ICLR深度学习动态扩散理论：随机梯度下降指数级偏重于平坦极小值
使用密度扩散理论（DDT），我们首次理论上和实证上证明，SGD 比 GD 更有利于发现平坦极值点，同时表明了使用大批量训练来搜索平坦极值点需要指数级时间。
PDF4 years ago
在神经网络中围绕宽平坦最小值塑造学习模式
本文研究了具有随机权重的一层和两层神经网络在非凸损失函数情况下的学习行为，引入了宽平原（WFM）这一概念，并探索了 WFM 如何出现以及在学习中起到什么作用。
PDF5 years ago
标准化平坦极小值：使用 PAC-Bayesian 分析探索神经网络的尺度不变平坦极小值定义
该论文从 PAC-Bayesian 角度审视了关于平坦极小值的讨论，并引入了归一化的平坦极小值概念，该概念不受已知尺度依赖问题的影响，且可以提供更好的假设类层次结构。
PDF5 years ago