稀疏神经网络中的线性模式连接

Oct, 2023

Linear Mode Connectivity in Sparse Neural Networks

Luke McDermott, Daniel Cummings

TL;DR通过使用合成数据进行神经网络剪枝，我们发现在使用迭代幅度剪枝（IMP）时，与真实数据 IMP 所找到的次网络相比，与真实数据中的 SGD 噪声更稳定的新型稀疏网络类。通过线性插值、损失面可视化和测量海森矩阵的对角线进行研究，我们发现这些性质使得在适用合成数据的设置中，合成选择的次网络通常能达到与传统 IMP 相媲美的性能，而训练点可减少多达 150 倍。

Abstract

With the rise in interest of sparse neural networks, we study how neural network pruning with synthetic data leads to sparse networks with unique training properties. We find that →

sparse neural networks neural network pruning synthetic data iterative magnitude pruning distilled data

发现论文，激发创造

线性模式连通性与彩票票证假说

研究神经网络优化是否在不同的 SGD 噪声样本下优化到相同的线性连接最小值；发现标准视觉模型在训练早期就变得稳定了，IMP 只有在稳定下来 SGD 噪声时才能达到完全准确性。

Dec, 2019

数据精简的彩票票：在稀疏可训练网络中寻找初始化参数

通过数据分布和损失面景观的角度，我们研究了 IMP 的预训练阶段如何为好的初始化做出贡献，得出了在密集网络的损失面景观中更多的线性模式连接示有利于 IMP 性能的结论。

Jun, 2022

蒸馏修剪：使用合成数据赢得彩票

利用精炼数据来修剪深度学习模型的新方法，通过捕捉精髓模式并利用其能力实现资源高效的神经网络修剪、模型压缩和神经架构搜索。

Jul, 2023

标签噪声下量化彩票：准确性，校准和复杂度

本文介绍了一种使用稀疏双下降方法鉴定和表征与分类任务相关的剪枝模型，该方法对网络大小变化具有鲁棒性，并表明剪枝模型不仅具有更好的计算性能，而且可以更好地表示学习中的不确定性。

Jun, 2023

揭开彩票假设：揭示中奖彩票遮罩中所编码的信息

使用迭代幅度裁剪算法（IMP）研究了在网络训练早期找到高度稀疏且匹配的子网络的原理，其操作是迭代循环的训练，屏蔽最小的幅度权重，回溯到早期的训练点，然后重复，结果表明：错误景观（error landscape geometry）的平坦度决定了每次 IMP 迭代中可以修剪的权重比例的限制。

Oct, 2022

稀疏模型汤：通过模型平均实现剪枝改进的配方

本文介绍了一种稀疏神经网络模型的组合方法，称为稀疏模型汤。该方法使用迭代剪枝技术，通过在众多超参数配置中重新训练模型以获得相同的稀疏性，从而使得多个稀疏模型之间的参数能够平均并且相容，从而增强了这些模型的泛化能力。

Jun, 2023

通过迭代保持突触流动来修剪神经网络

我们提出了一种不需要训练数据也能够在初始阶段识别高度稀疏的可训练子网络的剪枝算法，该算法基于神经突触流动原理并叫做迭代神经突触流剪枝算法（SynFlow），在多种模型、数据集和稀疏约束条件下，表现出和现有最先进的基于梯度的剪枝算法相当或更好的结果，成功挑战了基于训练数据来定量判断哪些突触重要的传统范式。

Jun, 2020

DRIVE: 双梯度快速迭代剪枝

现代深度神经网络 (DNNs) 由数百万个参数组成，在训练和推断过程中需要高性能计算。修剪是一个显著减少 DNNs 空间和时间复杂度的解决方案。

Apr, 2024

线性模型中的彩票票：迭代幅值剪枝分析

本文分析了彩票假设下利用迭代幅值剪枝方法对梯度流训练的线性模型进行裁剪的过程，并探讨了 IMP 作为一种稀疏估计方法的效果。

Jul, 2020

从蒸馏到硬负采样：使稀疏神经 IR 模型更加有效

本文研究基于稀疏表达的 SPLADE 检索器的训练提升方法，结合蒸馏、硬负例挖掘以及预训练语言模型初始化，证明其在效率和效果方面同样具有优势，能够在领域内和零样本情况下实现最先进的结果。

May, 2022