overparametrized models | BriefGPT

关键词overparametrized models

搜索结果 - 7

ICML理解 LLMs 需要超越统计概括
对深度学习的广义化现象、超参数化模型、非可识别性以及归纳偏见进行研究，并针对语言模型相关的广义化度量、可迁移性和归纳偏见提出了有前景的研究方向。
PDF2 months ago
超线性伸缩区域外的随机特征回归渐近行为
近期的机器学习进展通过使用过参数化的模型训练到接近训练数据的插值来实现。通过双下降现象的展示，已经证明参数数量是模型复杂性和泛化能力的劣质指标。这引发了一个问题，即了解参数化对这些模型的性能的影响。本文以随机特征岭回归（Random
PDF4 months ago
不同方式叠加更多层：通过低秩更新进行高秩训练
本文探讨了低秩训练技术作为训练大型神经网络的替代方法，介绍了一种名为 ReLoRA 的新方法，并将其应用于多达 350M 参数的预训练 transformer 语言模型的训练，并证明了与常规神经网络训练相当的性能。与此同时，我们发现 ReL
PDFa year ago
使用参数对称性提高收敛和泛化性能
研究发现，基于对称性变换的 teleportation 算法加速了优化，并提高了泛化性能。同时发现，在不同曲率下进行 teleporting 到 minima 有助于提高泛化性能。此外，在优化算法和基于优化的元学习中集成 teleporta
PDFa year ago
梯度下降对重新参数化模型的隐式偏差及其与镜像下降的等价性
本文讨论梯度下降算法中超参数模型中的隐含偏差问题，将超参数模型下的训练轨迹视为不同目标函数上的镜像下降，对该现象在 commuting parametrization 条件下进行了表征，证明了任何 commuting parametriza
PDF2 years ago
ICLRSGD 达到零损失后会发生什么？—— 数学框架
该论文提出了一个可以研究 Stochastic Gradient Descent 在 overparametrized 模型中的隐式偏差的通用框架，该框架使用一个描述参数极限动态的随机微分方程，并考虑了任意噪声协方差，文中给出了一些新结果，
PDF3 years ago
标签噪声 SGD 可证明偏爱扁平化全局最小值
研究过参数化模型，标签噪音等对随机梯度下降中的正则化作用及其影响。
PDF3 years ago