ICMLDec, 2019

线性模式连通性与彩票票证假说

PDF
TL;DR研究神经网络优化是否在不同的 SGD 噪声样本下优化到相同的线性连接最小值；发现标准视觉模型在训练早期就变得稳定了，IMP 只有在稳定下来 SGD 噪声时才能达到完全准确性。
发现论文，激发创造
  • 稳定彩票假设

    本文介绍了一种新的 IMP 修剪算法，用于提前训练深层网络而不是仅在初始化时进行修剪，从而找到可在更挑战的任务上与原始网络准确匹配的深层次子网络，并提出了结果。新的 IMP 算法可以更好地稳定修剪子网的训练参数，这为之后更早地修剪大规模网络提供了新的机遇。

    Mar, 2019

  • 彩票假说：寻找稀疏的可训练神经网络

    该文在进行神经网络剪枝过程中提出了 “彩票票假设”，即在一个密集、随机初始化的前馈神经网络中存在一些幸运的子网络，当其被隔离地训练时，可以在相似的迭代次数内达到与原始网络相当的测试准确性，通过一系列实验验证了该假设的正确性和这些幸运初始化的重要性。

    Mar, 2018

  • 彩票票假设与迭代剪枝的深入洞察

    深度神经网络的票证彩票假设强调了重新训练使用迭代幅度修剪过程获得的更稀疏网络所使用的初始化的重要性。这项研究试图通过对幅度修剪过程的各个阶段获得的解决方案的体积 / 几何和损失景观特征进行经验性研究，以揭示票证彩票假设的特定初始化为何在泛化（和训练）性能方面表现更好，并着重研究了幅度修剪和迭代过程的底层原理，如较小幅度权重的修剪和迭代过程的作用。

    Mar, 2024

  • 迭代幅值修剪作为重整化群：抽奖票假设背景下的研究

    本文探讨了深度神经网络（DNNs）的复杂世界，专注于激动人心的 Lottery Ticket Hypothesis（LTH）的概念。LTH 假设在大量的 DNNs 中，较小的可训练子网络（称为 “中奖票”）可以达到与完整模型相当的性能。我们进一步研究了发现这些中奖票以及它们的 “通用性”，即检查在一个特定问题上表现良好的中奖票是否也可以在其他相似问题上表现良好。我们还弥合了物理学中的 Iterative Magnitude Pruning（IMP）和 Renormalisation Group（RG）理论之间的差距，进一步促进 IMP 的更严谨理解。

    Aug, 2023

  • 揭开彩票假设：揭示中奖彩票遮罩中所编码的信息

    使用迭代幅度裁剪算法（IMP）研究了在网络训练早期找到高度稀疏且匹配的子网络的原理，其操作是迭代循环的训练，屏蔽最小的幅度权重，回溯到早期的训练点，然后重复，结果表明：错误景观（error landscape geometry）的平坦度决定了每次 IMP 迭代中可以修剪的权重比例的限制。

    Oct, 2022

  • 线性模型中的彩票票：迭代幅值剪枝分析

    本文分析了彩票假设下利用迭代幅值剪枝方法对梯度流训练的线性模型进行裁剪的过程，并探讨了 IMP 作为一种稀疏估计方法的效果。

    Jul, 2020

  • 实用的彩票票假设在对抗训练中的应用

    本文提出彩票票据假说，展示了深度神经网络中存在的可训练子网络，这些子网络在相同的训练步骤下表现不亚于原始模型。研究表明存在某些子网络能够更快地收敛，我们的实验表明这些子网络在各种模型结构和超参数的限制条件下的一致存在性，此外，这些子网络能够在对抗性训练中将总时间缩短至最新技术的 49％。

    Mar, 2020

  • 数据精简的彩票票：在稀疏可训练网络中寻找初始化参数

    通过数据分布和损失面景观的角度，我们研究了 IMP 的预训练阶段如何为好的初始化做出贡献，得出了在密集网络的损失面景观中更多的线性模式连接示有利于 IMP 性能的结论。

    Jun, 2022

  • 稀疏神经网络中的线性模式连接

    通过使用合成数据进行神经网络剪枝，我们发现在使用迭代幅度剪枝（IMP）时，与真实数据 IMP 所找到的次网络相比，与真实数据中的 SGD 噪声更稳定的新型稀疏网络类。通过线性插值、损失面可视化和测量海森矩阵的对角线进行研究，我们发现这些性质使得在适用合成数据的设置中，合成选择的次网络通常能达到与传统 IMP 相媲美的性能，而训练点可减少多达 150 倍。

    Oct, 2023

  • 神经网络中排列不变性在线性模式连通性中的作用

    本文研究神经网络的排列不变性，提出 SGD 解决方案在其线性插值中没有障碍的假设，并通过实验证明该假设，同时提供初步理论结果来支持我们的假设。该假设将对彩票假设、分布式训练和集成方法产生影响。

    Oct, 2021