卷积和残差网络可证明包含中奖彩票
本文证明了稀疏子网络(所谓 “奖券假设”)不仅存在于深度神经网络中,而且它所具有的普适性无需进行进一步训练,这一理念可通过本文提出的剪枝推导和显式稀疏结构的方式予以证明。
Nov, 2021
本文提出彩票票据假说,展示了深度神经网络中存在的可训练子网络,这些子网络在相同的训练步骤下表现不亚于原始模型。研究表明存在某些子网络能够更快地收敛,我们的实验表明这些子网络在各种模型结构和超参数的限制条件下的一致存在性,此外,这些子网络能够在对抗性训练中将总时间缩短至最新技术的 49%。
Mar, 2020
该文在进行神经网络剪枝过程中提出了 “彩票票假设”,即在一个密集、随机初始化的前馈神经网络中存在一些幸运的子网络,当其被隔离地训练时,可以在相似的迭代次数内达到与原始网络相当的测试准确性,通过一系列实验验证了该假设的正确性和这些幸运初始化的重要性。
Mar, 2018
文章探讨了深度学习神经网络中 Lottery Ticket Hypothesis(LTH)方法对于物体识别、实例分割和关键点预测任务的模型剪枝效果,结果表明通过该方法找到的初始模型可以在不影响性能的情况下达到 80% 的稀疏度。
Dec, 2020
本研究证实了 Lottery Ticket Hypothesis 可适用于 deep generative models 并提出了一种寻找 winning tickets 的有效方法,同时发现这些 winning tickets 有跨模型的传递性,因此可以帮助训练多种深度生成模型,并通过 early-bird tickets 的方式可以大幅减少训练时间和 FLOPs。
Oct, 2020
给定一个研究论文,识别并提取五个准确代表其主题和研究领域的关键词。然后,通过一句简洁的中文句子总结该论文。输出结果为 JSON,包含关键词和摘要字段,无需解释。
Nov, 2023
深度神经网络训练中的强引理假设提出了剪枝的潜力,在 ReLU 激活函数网络中,通过从随机初始化的神经网络的子网络近似目标网络,可以用宽度呈对数比例增加、深度双倍的神经网络表示目标函数,文中证明可以实现深度加 1 的神经网络,预期可以在常用深度找到彩票票,且只需要对数超参数化。
May, 2022
该研究提出彩票票据假设,证明对于每个有界分布以及带有有界权重的目标网络,一个具有随机权重的足够超参数的神经网络包含一个子网络,与目标网络具有大致相同的准确性,而不需要进一步的训练。
Feb, 2020
本文基于 Lottery Ticket Hypothesis 对一系列迁移学习任务进行研究,通过使用无结构量级剪枝来发现最优子网络,实验结果表明减少约 90-95% 权重的稀疏子网络在多个现实场景下能够达到或超过原始网络的准确度。
May, 2019
该论文评估了 'lottery ticket' 初始化方法在自然语言处理和强化学习领域中的应用,研究发现该方法可以大大提高深度神经网络的性能和压缩效果。
Jun, 2019