overparametrized | BriefGPT

关键词overparametrized

搜索结果 - 8

面向卷积神经网络的广义熵稀疏化
卷积神经网络 (CNNs) 被报道为过参数化。本文提出了一种基于数学思想的逐层数据驱动剪枝方法，旨在通过最小化网络熵来找到稀疏子网络，以解决网络架构搜索的复杂性问题。该方法在多个基准测试中得到验证，并在中稀疏度达到 55%-84% 时准确度
PDF3 months ago
曲率损失函数视角下的记忆化
本文提出通过损失函数对训练样本曲率的测量来对神经网络的记忆化能力进行研究和分析。通过对 popular image datasets 的样本进行测量、可视化和排序，研究展示了神经网络在长尾数据、错误标签和冲突样本方面的记忆化失效，并发现了
PDFa year ago
插值回归模型和双下降现象分析
本篇论文提出了一个回归模型的理论，在训练数据中具有比数据点更多的参数，这种模型被称为过度参数化模型，有能力插值训练数据，最好的模型是过度参数化的，与模型阶数呈双峰形。我们分析了最小二乘问题的最小化的解的内插模型，以及使用岭回归进行模型拟合的
PDFa year ago
基于表示的复杂度测度对深度学习的泛化能力进行预测
从神经科学理论的角度解释深度神经网络的泛化能力，提供可自主计算的复杂度度量方法以揭示深度模型的泛化行为，并详细介绍在 NeurIPS 2020 举办的预测深度学习泛化比赛中获胜的解决方案。
PDF4 years ago
小数据，大决策：小数据情境下的模型选择
本文通过实验证明，相比于之前研究中通常考虑模型大小因素对性能的影响，训练数据集的大小对模型性能的影响同样显著，实验结果发现，训练更小的数据子集可以带来更可靠的模型选择决策同时降低计算成本，并能估算出常见数据集在现代神经网络结构下的最小描述长
PDF4 years ago
贝叶斯神经网络对基于梯度的攻击的鲁棒性
分析了在大数据、超参数限制条件下对贝叶斯神经网络（BNN）的对抗攻击几何特征，并证明了其后验鲁棒性能和基于梯度的对抗攻击是相关的。在 MNIST 和 Fashion MNIST 数据集中，利用 Hamiltonian Monte Carlo
PDF4 years ago
具有阈值和 ReLU 激活函数的神经网络的记忆容量
本文探究神经网络模型，证明了具有 sigmoid 或 ReLU 激活函数的过度参数化的模型在训练数据超过一定数量后，具有百分之百的记忆能力。
PDF4 years ago
ICML过参数化的两层神经网络的优化与泛化的细粒度分析
该论文分析了一个简单的 2 层 ReLU 网络的训练和泛化，通过对相关内核的特性进行追踪，提出了更紧致的训练速度特征描述和网络大小无关的泛化界限以及对梯度下降训练的广泛平滑函数可学性的证明。
PDF5 years ago