May, 2019

拆解彩票：零、符号和超级掩码

PDF
TL;DR通过研究 Lottery Ticket 算法的重要组成部分，本文发现把权重设置为零、知道符号的重要性和然后掩盖行为类似于训练的原因，并发现存在 Supermasks，将其应用于未经训练的网络可产生比机会更好的性能模型。
lottery ticket hypothesissparse networkslt algorithmsupermasksmodel performance
发现论文，激发创造
  • 稀疏转移学习中的优胜彩票算法

    本文基于 Lottery Ticket Hypothesis 对一系列迁移学习任务进行研究，通过使用无结构量级剪枝来发现最优子网络，实验结果表明减少约 90-95% 权重的稀疏子网络在多个现实场景下能够达到或超过原始网络的准确度。

    May, 2019

  • 成功将稳定化彩票假设应用于 Transformer 结构

    研究表明，通过稀疏模型、神经网络和剪枝技术等手段，可以在交互式设备和时间关键型计算中快速实现预测，找到了一种新的剪枝技术，该技术不仅优于其他技术，而且对于高密度稀疏性水平的情况具有很大的优势。

    May, 2020

  • 预训练语言模型的强大抽奖票

    本文提出了一种基于学习二进制权重掩码的新方法，用于识别原始 PLM 中隐藏的强健 Ticket，并设计了一个对抗性损失目标来引导寻找强健的 Ticket，并确保票据在准确性和鲁棒性方面表现良好。

    Nov, 2022

  • 多层覆盖与折叠图神经网络及强彩票

    该研究基于强彩票模型假设（SLTH）证明了初始化模型中存在高效子网络，通过修剪卷积神经网络（CNN）而无需进行权重训练。论文通过采用多层拓扑和非共享蒙版方法在图神经网络（GNNs）中实现了 M-Sup 标量修剪蒙版，并通过自适应设置修剪阈值的策略，揭示了训练有素的前馈网络的非训练循环网络的性能相当。同时，通过在多个数据集上进行评估，包括 Open Graph Benchmark（OGB），该研究确立了 SLTH-GNN 的三重优势：高稀疏性、竞争性能和高内存效率，显示了其适用于高效图处理的能力。

    Dec, 2023

  • 签名超级口罩：保留，隐藏，反转

    本文提出了一种新颖的方法，通过权重选择和反转来训练神经网络，达到高达 99% 的剪枝率，而仍然可以匹配或超过各种基线和以前的模型的性能。

    Jan, 2022

  • 彩票票保留权重相关性：是可取还是不可取？

    通过研究神经网络模型剪枝，提出了 “Lottery Ticket Hypothesis”，发现神经网络的初始化和学习率等条件会影响最优子网络的提取，同时提出 “Pruning & Fine-tuning” 方法来优化剪枝和训练，实验证明该方法在多种深度神经网络结构上表现出色。

    Feb, 2021

  • 深度生成模型中的中奖彩票

    本研究证实了 Lottery Ticket Hypothesis 可适用于 deep generative models 并提出了一种寻找 winning tickets 的有效方法，同时发现这些 winning tickets 有跨模型的传递性，因此可以帮助训练多种深度生成模型，并通过 early-bird tickets 的方式可以大幅减少训练时间和 FLOPs。

    Oct, 2020

  • 抓到偷走我中奖彩票的人！声明我的彩票所有权

    本文研究使用基于图形签名和触发器集的稀疏拓扑信息进行彩票验证，以防止知识产权侵权和确认所有权。实验表明，该方法对不同模型和攻击有鲁棒性。

    Oct, 2021

  • 双重彩票神经元假设

    本论文提出 Dual Lottery Ticket Hypothesis 和 Random Sparse Network Transformation 实现稀疏神经网络训练，并通过实验证明了其有效性。

    Mar, 2022

  • 彩票假说：寻找稀疏的可训练神经网络

    该文在进行神经网络剪枝过程中提出了 “彩票票假设”，即在一个密集、随机初始化的前馈神经网络中存在一些幸运的子网络，当其被隔离地训练时，可以在相似的迭代次数内达到与原始网络相当的测试准确性，通过一系列实验验证了该假设的正确性和这些幸运初始化的重要性。

    Mar, 2018