network width | BriefGPT - AI 论文速递

关键词network width

搜索结果 - 10

关于连续学习中宽度递减收益的研究
深度神经网络在各种环境中表现出前沿的性能，但在按顺序训练新任务时往往会出现 “灾难性遗忘”。本研究设计了一个框架来分析连续学习理论，并证明网络宽度与遗忘之间存在直接关系。具体而言，我们证明增加网络宽度以减少遗忘产生递减的效果，我们在以前的研
PDF4 months ago
平滑软阈值展开 ISTA 和 ADMM 网络的优化保证
通过研究无穷展开网络（如 LISTA 和 ADMM-CSNet）中的平滑软阈值函数的优化保证，本文证明了存在于损失函数空间特定区域内满足 PL$^*$ 条件，从而保证全局最小值的存在和使用梯度下降方法的指数级收敛。此外，本文还比较了无穷展开
PDF10 months ago
神经网络宽度的数据拓扑相关上界
本研究旨在探究深度神经网络的通用逼近性质与数据集拓扑特征之间的关系，并通过拓扑结构推导出限制网络宽度的上界。通过设计三层神经网络中的 ReLU 激活函数和最大池化操作，可以逼近一个由紧凑凸多面体包围的指示函数，同时拓展到单纯复合体，以拓扑空
PDFa year ago
探索对抗鲁棒深度神经网络的架构因素
本文针对深度神经网络（DNN）易受到对抗攻击的问题，通过对网络结构的宽度和深度进行综合研究，发现更高的模型容量并不一定有助于对抗攻击抵抗力的提高，最后一个阶段降低容量实际上可以提高对抗攻击的鲁棒性，同样的参数预算下，存在一种最佳的结构以提高
PDF3 years ago
ICLR局部自由重参数共享用于网络宽度搜索
本文提出了一种自由权重共享的策略 CafeNet 和一种减小搜索空间的方法来更好地评估每个网络宽度，该方法可以在 ImageNet、CIFAR-10、CelebA 和 MS COCO 数据集上进行验证，并被证明优于其他最先进的基线模型，特别
PDF3 years ago
拥有相同的参数时更宽的网络是否更好？
通过保持参数数量不变增加模型宽度来探究神经网络性能的影响，结论是网络宽度与模型性能作用显著，而参数数量虽不可忽视，但其次要性要保证可训练性，同时我们在高斯过程核的框架下分析这些模型并发现模型初始点有限宽度核与无限宽度核之间的距离对于模型性能
PDF4 years ago
自注意力中深度和宽度的相互作用
该研究通过理论预测和系统实验，发现了自注意力网络中网络深度和宽度之间的深度有效性和深度低效性之间的宽度依赖性转变，并提供了在给定尺寸的自我注意网络中深度和宽度的最佳分配的明确量化建议。
PDF4 years ago
ICLR深度 ReLU 网络学习所需的过度参数化程度是多少？
本研究探讨了在过度参数化的深度神经网络中，当网络宽度大于训练样本大小和目标误差的高次多项式的倒数时，通过（随机）梯度下降学习的深度神经网络可以获得良好的优化和泛化性能。此外，我们还构建了深层 ReLU 网络的学习保证，使得网络宽度对 n 和
PDF5 years ago
更宽的网络学习更好的特征
研究发现，对于新任务的神经网络，学习特征的可转移性可以大幅减少训练成本；通过使用激活图谱技术研究网络宽度对学习特征的影响，并表明增加网络宽度可以显著提高针对新任务的性能表现。
PDF5 years ago
对 ImageNet 上 CNN 进步的系统评估
本文系统地研究了卷积神经网络结构和学习方法的多个进展对目标分类（ILSVRC）问题的影响，并测试了网络结构、学习参数和图像预处理等因素对分类结果的影响。结果表明，使用 128x128 像素图像即可得出优化网络结构的定性结论，这些结果比标准的
PDF8 years ago