winning tickets | BriefGPT - AI 论文速递

关键词winning tickets

搜索结果 - 12

KS-Lottery: 查找多语言模型的认证彩票
通过使用 Kolmogorov-Smirnov 检验分析微调前后的参数分布变化，我们提出了 KS-Lottery 方法，以识别在多语言微调中非常有效的少数 LLM 参数集。我们进一步从理论上证明了 KS-Lottery 可以在嵌入层中找到被
PDF5 months ago
成功将抽奖票假设应用于扩散模型
通过将 Lottery Ticket Hypothesis 应用于扩散模型，本研究首次在基准测试上发现了在稀疏度为 90%-99% 时仍能保持性能的子模型，并提出了一种可以在模型的不同层之间具有变化稀疏度的方法。
PDF8 months ago
迭代幅值修剪作为重整化群：抽奖票假设背景下的研究
本文探讨了深度神经网络（DNNs）的复杂世界，专注于激动人心的 Lottery Ticket Hypothesis（LTH）的概念。LTH 假设在大量的 DNNs 中，较小的可训练子网络（称为 “中奖票”）可以达到与完整模型相当的性能。我们
PDFa year ago
IJCAI视觉 Transformer 的数据级彩票假设
本文提出了一种数据级彩票假设（Data-LTH-ViT），旨在寻找将 Vision Transformers 训练到与使用所有图像补丁训练模型相似准确度的可行子集。结果表明，使用获胜彩票的模型与随机选择子集的模型的性能存在明显差异，并且该理
PDF2 years ago
LOFT: 通过逐层过滤训练查找彩票券
本文研究了 Lottery Ticket Hypothesis，并提出了一种称为 LOttery ticket through Filter-wise Training 的卷积神经网络预训练算法来识别优秀的 filters 并减少预训练的内
PDF2 years ago
通过双层优化推进模型剪枝
本文介绍了一种基于双层优化的模型修剪方法，称为 BiP，它可以像一级优化一样简单地解决大规模深度学习模型的修剪问题，而且在大多数情况下，此方法可以比传统的迭代剪枝（IMP）找到更好的中奖率，并且在同样的模型准确性和稀疏度下可以获得 2-7
PDF2 years ago
ICML粗化粒度：朝向结构稀疏的彩票神经元
本文提出一种新方法，通过迭代的裁剪与一系列 “后处理技术”，找到带有结构化稀疏性的获奖子网络，从而在不影响模型精度的情况下，显著提高模型的推理速度。
PDF2 years ago
高效彩票票据查找：少量数据更佳
本文提出了一种新的方法，通过仅使用一种特殊的数据子集来发现 Lottery Ticket Hypothesis (LTH) 中的胜彩（稀疏而关键的子网络），该子集被称为 Pruning-Aware Critical set (PrAC se
PDF3 years ago
ACL预训练语言模型中的超级票：从模型压缩到提高泛化能力
该研究探讨了 Lottery Ticket Hypothesis 理论，在预训练语言模型这样极度超参数化的模型中，如何通过压缩 ratio 选定一组 “winning tickets” 子模型来匹配全模型的性能。另外观察到当 compres
PDF3 years ago
AAAI深度生成模型中的中奖彩票
本研究证实了 Lottery Ticket Hypothesis 可适用于 deep generative models 并提出了一种寻找 winning tickets 的有效方法，同时发现这些 winning tickets 有跨模型的
PDF4 years ago
ICLR提前获取优惠票：走向更高效的深度神经网络训练
本文提出了一种发现神经网络的优胜子网络（winning tickets）的方法 ——early-bird tickets，可以利用低成本的训练方案（如早停训练和低精度训练）在较早的训练阶段发现，并通过提出的 mask distance 度量
PDF5 years ago
ICML透过反比尺度空间探索深度网络的结构稀疏性
本文提出了一种基于反射尺度微分包含的新方法，该方法通过耦合一对参数在动力学过程中生成从简单到复杂的模型系列，同时探索过度参数化的深度模型和其结构稀疏性。实验证据表明，我们的方法在探索几个广泛使用的支撑点上的稀疏结构方面表现出与竞争优化器可比
PDF5 years ago