MMFeb, 2024

在冻结网络中部分搜索足以找到一个强大的中奖彩票

PDF
TL;DR提出了一种方法，通过冻结一部分初始权重来减少 SLT（强彩票）的搜索空间，以在减小模型尺寸和提高精度之间取得平衡。实验证明，该方法能够找到更好的 SLTs，并且冻结图神经网络中的 SLT 能够在提高准确度的同时减小模型尺寸 40.3 倍。
dense networksstrong lottery ticketsrandom pruningslt search spacemodel size trade-off
发现论文，激发创造
  • 稀疏转移学习中的优胜彩票算法

    本文基于 Lottery Ticket Hypothesis 对一系列迁移学习任务进行研究，通过使用无结构量级剪枝来发现最优子网络，实验结果表明减少约 90-95% 权重的稀疏子网络在多个现实场景下能够达到或超过原始网络的准确度。

    May, 2019

  • 具有结构强胜算头奖券的 N 次多项式超参数化卷积神经网络

    给定一个研究论文，识别并提取五个准确代表其主题和研究领域的关键词。然后，通过一句简洁的中文句子总结该论文。输出结果为 JSON，包含关键词和摘要字段，无需解释。

    Nov, 2023

  • 探索突触传递网络中的抽奖票假设

    该研究使用彩票票据原理，提出了一种适用于深度脉冲神经网络（SNN）的神经剪枝技术，即运用早期时间（ET）票据来减少彩票票据原理的搜索时间，该方法在不降低性能的情况下使得 SNN 的鲁棒性得到了极大提高。

    Jul, 2022

  • 多奖金彩票假设：通过对随机权重网络修剪来发现准确的二元神经网络

    本研究提出了 Multi-Prize Lottery Ticket 假设，表明含有随机权重的过度参数化神经网络包含多个可训练子网络，可以通过剪枝和精度量化来获得高精度的二进制神经网络。实验表明通过该方法得到的神经网络可以在 CIFAR-10　和　ImageNet 数据集上达到更高的精度，而且效果比原始的全精度基线模型更好。

    Mar, 2021

  • 双重彩票神经元假设

    本论文提出 Dual Lottery Ticket Hypothesis 和 Random Sparse Network Transformation 实现稀疏神经网络训练，并通过实验证明了其有效性。

    Mar, 2022

  • 多层覆盖与折叠图神经网络及强彩票

    该研究基于强彩票模型假设（SLTH）证明了初始化模型中存在高效子网络，通过修剪卷积神经网络（CNN）而无需进行权重训练。论文通过采用多层拓扑和非共享蒙版方法在图神经网络（GNNs）中实现了 M-Sup 标量修剪蒙版，并通过自适应设置修剪阈值的策略，揭示了训练有素的前馈网络的非训练循环网络的性能相当。同时，通过在多个数据集上进行评估，包括 Open Graph Benchmark（OGB），该研究确立了 SLTH-GNN 的三重优势：高稀疏性、竞争性能和高内存效率，显示了其适用于高效图处理的能力。

    Dec, 2023

  • 证明《中奖彩票假说》: 剪枝就是你所需的一切

    该研究提出彩票票据假设，证明对于每个有界分布以及带有有界权重的目标网络，一个具有随机权重的足够超参数的神经网络包含一个子网络，与目标网络具有大致相同的准确性，而不需要进一步的训练。

    Feb, 2020

  • 预训练模型中存在的彩票大奖

    本文提出了一种搜索被称为 "lottery jackpots" 的高性能、稀疏的子网络的方法，通过使用基于幅值的裁剪技术初始化稀疏掩码并使用短限制方法减少训练损失，从而提高搜索效率和准确性。

    Apr, 2021

  • 彩票假说：寻找稀疏的可训练神经网络

    该文在进行神经网络剪枝过程中提出了 “彩票票假设”，即在一个密集、随机初始化的前馈神经网络中存在一些幸运的子网络，当其被隔离地训练时，可以在相似的迭代次数内达到与原始网络相当的测试准确性，通过一系列实验验证了该假设的正确性和这些幸运初始化的重要性。

    Mar, 2018

  • 初始化时寻找彩票号码

    该论文提出了一种名为 “Gem-Miner” 的方法，它可以在初始化时找到可训练的彩票网络，进而在精度方面击败当前的基线，而且速度比迭代性大小修剪（IMP）快多达 19 倍。

    Feb, 2022