double descent | BriefGPT - AI 论文速递

关键词double descent

搜索结果 - 30

Triple descent 和两种过拟合：何时何处出现？
本文研究深度学习中的双下降现象，即当训练样本数 N 接近模型参数数 P 或者输入维度 D 时，神经网络的泛化误差会出现峰值，本文提供了理论解释，并探讨了非线性对此现象的影响及正则化方法的应用。
PDF4 years ago
IJCAI重新思考 DNN 的泛化、记忆和谱偏差之间的关系
研究表明，深度神经网络的学习偏差会在训练的后期阶段出现第二次下降，其高频分量也会因此减少，导致测试误差的第二次下降，而网络的频谱可以用于指示测试误差的第二次下降。
PDF4 years ago
双重衰退的简要史
本文探讨现代高复杂度学习者的风险曲线，讨论风险曲线与学习器复杂度的关系，特别是所谓的双重下降现象，这一现象历史上早已被了解并已应用于当今的机器学习领域。
PDF4 years ago
深度模型参数计数的重新思考：有效维度再审视
通过有效维度的视角，我们研究了神经网络在参数计数作为复杂度代理时的一些奇妙的泛化特性，包括双下降现象、模型选择、宽度 - 深度权衡和损失曲面的功能多样性，发现通过有效维度可以更好地了解深度模型中参数和函数之间的相互作用，并且比其他基于范数或
PDF4 years ago
ICLR最优正则化可以缓解双峰下降现象
本文研究是否可以通过使用优化正则化方法避免双重下降现象。理论上，我们证明了对于某些线性回归模型，通过正则化可以实现测试性能的单调性增长，我们还通过实验证明了优化的正则化方法可以缓解双重下降现象。
PDF4 years ago
双峰下的双重麻烦：懒惰模式中的偏差与方差
研究发现，通过过度参数化，深度神经网络能够在插值训练数据的同时实现卓越的泛化性能，并且在测试误差上具有双下降现象，该现象可以通过集成平均估计器进行抑制。
PDF4 years ago
自说明人工智能作为可解释人工智能的替代方案
本研究提出了一种自我解释的 AI 的概念，它能够解释其决策的机制并提供信心水平，但由于深度神经网络的双下降现象，训练复杂真实世界数据的神经网络难以解释和外推，因此深度学习系统需要包括特定预警来保证其应用的安全性。
PDF4 years ago
用代理随机设计的双重下降和隐式正则化的精确表达式
本文针对过度参数的最小范数线性估计器的双下降现象，借助一种称为代理随机设计的特殊确定点过程进行研究，该代理设计允许对估计器的平均平方误差进行精确表示，并且我们证明了对于代理设计，未正则化的最小范数估计器的隐式偏置恰好对应于在总体分布上解决岭
PDF5 years ago
随机特征回归的泛化误差：精确渐近性和双下降曲线
本文考虑使用随机特征空间，在测度无限趋近于无限，特征维度和样本量趋近于无穷大的情况下，利用结果回归模型和双下降现象等关键词解释深度学习模型中的奇妙现象。
PDF5 years ago
弱特征的双下降模型
本文提出了 “双下降” 风险曲线，用于定性描述可变参数机器学习模型的样本外预测准确性。通过对最小二乘 / 最小规范预测器的两个简单数据模型进行精确的数学分析，显示出风险在特征数 $p$ 接近样本数 $n$ 时达到峰值，但随着 $p$ 超过
PDF5 years ago