double descent | BriefGPT - AI 论文速递

关键词double descent

搜索结果 - 30

无监督学习中的多次下降：噪声、领域偏移和异常值的作用
在无监督学习中研究双重下降现象，通过使用欠完备的自编码器进行实验，发现双重下降现象存在于多个应用中，并对异常和领域转移进行检测和缓解，结果表明过参数化模型不仅在重构方面表现出更好的性能，还增强了下游任务的能力。
PDF17 days ago
基于类别的激活解读深度双下降之谜
该研究重新审视了双下降现象，探讨其发生条件，并引入类激活矩阵的概念和一种估计函数有效复杂性的方法，揭示超参数化模型在隐藏激活中展现出更明显和更简单的类别模式。通过全面分析并提供相应的实证证据来验证或反驳这些假设，旨在为双下降现象和良性超参数
PDF2 months ago
当生活给你 LLMs 时，制作 LLM-ADE：具有自适应数据工程的大型语言模型
LLM-ADE 框架是一个新颖的大型语言模型（LLMs）连续预训练方法，解决了灾难性遗忘和双下降的挑战。在特定数据集上，LLM-ADE 采用了动态架构调整的策略，包括选择性冻结和扩展，以增强模型对新数据的适应性，同时保留先前获得的知识。我们
PDF2 months ago
深度学习中的双下降现象理解
将经验风险最小化与容量控制结合是机器学习中控制泛化差距和避免过拟合的经典策略。然而，在现代深度学习实践中，非常庞大的超参数化模型（例如神经网络）被优化以完美拟合训练数据，并且仍然具有出色的泛化性能。在插值点之后，增加模型复杂性似乎实际上降低
PDF4 months ago
网络理解、双下降和应用能力的统一视角：来自电路竞争的观点
最近的研究揭示了在深度学习中的一些有趣的现象，如 grokking、双下降和大型语言模型的新兴能力，这些现象挑战了人类的直观理解，对于更深入地理解神经模型至关重要。本文提出了一个全面的框架，提供了对这些现象的统一观点，着重于记忆和概括电路之
PDF4 months ago
稀疏双谷操作
该论文研究了双下降现象在两层神经网络中的作用，重点关注了 L1 正则化和表示维度的作用。研究探讨了稀疏双下降这一替代的双下降现象，并强调了模型复杂度、稀疏性和泛化之间的复杂关系，建议进一步研究更多样化的模型和数据集。这些发现有助于深入理解神
PDF5 months ago
时间序列预测中的深度双下降：避免训练不足的模型
通过对深度学习模型的训练模式进行广泛实验，在公共时间序列数据集上训练的多个 Transformer 模型中观察到了深度双下降现象，而通过使用更多的 epochs 可以减轻过拟合，取得了接近 72 个基准测试中 70% 的长序列时间序列预测的
PDF8 months ago
统计学习中关于参数计数的重新思考：双下降的转向
传统统计学智慧揭示了模型复杂度和预测误差之间的关系，但最近的研究提出了双峰现象的理论，即在参数个数超过样本大小时，测试误差会出现第二次下降。本研究挑战了此理论，并通过对经典统计机器学习方法的细致研究，提出了双峰现象的解释，认为其位置与插值阈
PDF8 months ago
解开双下降之谜：通过学习特征空间的深入分析
通过对学习表征的特征空间进行全面分析，我们揭示了双下降现象是在用带有噪声数据训练的不完美模型中产生的，它首先通过拟合噪声数据进行学习，然后通过超参数化添加隐式正则化，从而具备了将信息与噪声分离的能力。我们推断双下降现象不应该在经过良好正则化
PDF8 months ago
ICML自我监督学习中是否存在双重跌落现象？
在自监督模型中，双下降现象可能不存在，两种未被研究的设置（标准自编码器和线性自编码器）的测试损失曲线分别为经典的 U 形或单调递减形，这一结果帮助我们更好地认识此现象的理论基础。
PDFa year ago
Dropout Drops Double Descent
本论文发现并分析了只需要在全连接层之前添加一个 dropout 层，我们就可以轻松避免双峰下降现象。我们通过理论和实验证明，在线性回归模型和非线性随机特征回归中使用最优 dropout 可以缓解双峰下降现象，并通过 Fashion-MNIS
PDFa year ago
失配问题的双重下降：一种与任务、数据和模型无关的现象
本文研究了两个具有相同架构、使用相同算法和数据集训练的神经网络，发现在训练数据上，它们的输出差异表现出 “双峰现象”。通过广泛实验跨越各种任务、数据集和网络架构，我们证明了这种现象的普遍性。利用这种现象，我们提出了一种新的早期停止准则并开发
PDFa year ago
岭正则化最小二乘线性数据去噪的欠参数化双丘降现象
本文在一个简单的样例中证明了双下降现象在欠参数化的情况下确实存在，同时探讨了岭回归正则化对模型泛化误差和范数的影响以及两种正则化方法之间的相互作用，结果表明它们不完全等效。
PDFa year ago
统一理解学习和双重下降
本文探讨深度学习中普遍性的理解可能需要将各种现象归纳在一个框架下，提出了模式学习速度框架来理解 grokking 和 double descent，同时还提供了首次对模型的 grokking 演示。
PDFa year ago
CVPR神经网络是否可以学习相同模型两次？从决策边界角度探讨可复现性和双重下降现象
探讨了神经网络决策边界和决策区域可视化的方法，并使用这些可视化方法研究神经网络训练中的可重复性和泛化问题。观察到模型体系结构（及其相关归纳偏差）的改变导致决策边界可见的变化，但同一体系结构下的多次运行产生的结果非常相似，特别是在宽体系结构的
PDF2 years ago
ICLR有限宽度神经网络中双重下降现象的现象学
本文使用影响函数来推导适当的人群损失和下界表达式，研究了损失函数对双下降的影响，发现神经网络和其 Hessian 光谱在插值阈值附近存在有趣的属性。
PDF2 years ago
相似性与泛化：从噪音到污染
本文研究对比学习中的噪声问题，特别是 Siamese 神经网络的双重下降问题、匹配标签噪声和单标签噪声对网络泛化的影响，并发现密集数据集下的密度诱导相似性破裂现象。
PDF2 years ago
epochwise 双重下降发生的时间和方式
本文研究表明，随着参数数量的增加，深度神经网络会呈现出 “双下降” 的特性，同时，随着训练时间的增长，也存在着 “按时间下降的双重下降” 效应，这在实践中导致训练时间过长，基于验证表现的早停可能导致非最优泛化。作者提出了一种可以从理论上解释
PDF3 years ago
ICCV低曲率激活减少对抗训练中的过拟合
本文研究在对抗训练中如何选择合适的激活函数，发现使用具有低曲率值的激活函数可以有效减小一般化误差，包括标准误差和稳健误差，并且这种现象适用于可微的平滑激活函数和不可微的非平滑激活函数。此外，对于具有低曲率的激活函数，没有出现模型的双下降现象
PDF3 years ago
AAAI模型压缩中过参数化的可证益处：从双峰下降到神经网络修剪
本文分析了过参数化模型剪枝中的双重下降现象，提出了在某些情况下，训练大型模型再进行剪枝比仅使用已知信息更好的理论证明，同时也发现了重新训练的好处以及在线性和随机特征模型中已经存在这些现象，这进一步促进了高维分析工具的发展。
PDF4 years ago