通过最优输运实现元剪枝

ICLRFeb, 2024

Towards Meta-Pruning via Optimal Transport

Alexander Theus, Olin Geimer, Friedrich Wicke, Thomas Hofmann, Sotiris Anagnostidis...

TL;DR该论文介绍了一种名为 Intra-Fusion 的新方法，通过使用模型融合和最优传输的概念，重新定义了神经网络修剪的程序，实现了更有效的稀疏模型表示，并在不需要资源密集型微调的情况下显著提高了准确性恢复，从而成为神经网络压缩的一种高效且有前景的工具。

Abstract

structural pruning of neural networks conventionally relies on identifying and discarding less important neurons, a practice often resulting in significant accuracy loss that necessitates subsequent fine-tuning e

structural pruning neural networks intra-fusion model fusion neural network compression

发现论文，激发创造

最优传输中的模型融合

该研究提出了一种基于神经网络的逐层模型融合算法，使用最优传输方法将多个模型中的神经元对齐，并将其相关参数平均化，以实现 “一次性” 知识转移，从而有效地提高了模型的性能和压缩率。

Oct, 2019

随机融合优化运输的 Transformer

基于最优输运的层对齐方法，能够融合不同大小的变压器网络，提供了一种压缩变压器的新方法，并在图像分类和自然语言建模任务中表现出优越性能。

Oct, 2023

可微运输剪枝

本文提出一种新的精确剪枝技术，利用有效的最优传输方案，使得算法自动调整探索 - 开发行为，从而在 3 个不同的数据集、5 个不同的模型、各种剪枝比例和两种稀疏度预算和剪枝颗粒度等方面均取得了先进的性能。

Jul, 2023

重构网络剪枝 -- 在预训练和微调范式下

本论文研究在 NLP 领域中，对预训练的 Transformers 模型采取稀疏剪枝 (sparse pruning) 技术，相较于对其通道与层数的压缩，稀疏剪枝的效果更为显著。通过基于 GLUE 数据集的实验比较，证明本论文所采用的知识感知的稀疏剪枝方法可以实现 20 倍的参数 / FLOPs 压缩并且不会明显损失模型的性能。

Apr, 2021

通过神经网络修剪揭示不变性

我们提出了一种通过修剪学习到的新型网络架构以捕捉数据依赖的不变性的框架，在视觉和表格数据集上，我们学到的网络架构始终比密集神经网络在效率和效果上表现更好。

Sep, 2023

稀疏剪枝：朝着高效的视觉 Transformer

通过应用稀疏正则化和修剪方法于视觉转换器架构，研究了性能和效率之间的权衡，并发现正则化模型修剪相较于非正则化模型修剪可提高精度。

Jul, 2023

准确神经网络剪枝需要重思稀疏优化

使用标准的计算机视觉和自然语言处理稀疏基准测试，探讨高稀疏性对模型训练的影响，提供了一种解决有关稀疏训练困难的新方法，并在高稀疏性环境下实现了在视觉模型和语言模型上最先进的结果。

Aug, 2023

在视觉 Transformer 中追求稀疏性：一次端到端的探索

本文旨在从减小训练存储开销和推理复杂度的角度，提出一种先将 Vision transformers 稀疏化，然后再训练的方法，从而实现一定的加速效果并保持较高的精度。

Jun, 2021

神经网络剪枝的重要性评估

本文介绍了一种以结构削减神经网络参数为主要内容的新方法，可通过估算神经元对最终损失的贡献并逐步去除小分值的神经元来减少计算、能量和内存传输成本。对于在 ImageNet 上训练的现代网络，我们测量了我们的方法计算的贡献与真实重要性的可靠估计之间的高度（>93％）相关性。使用所提出的方法进行修剪可实现在准确性，FLOPs 和参数减少方面的超越最新技术的改进。在 ResNet-101 上，我们通过删除 30％的参数实现了 40％的 FLOPs 减少，在 ImageNet 的前 1 个准确度方面损失了 0.02％。

Jun, 2019

神经最优传输

该研究介绍了一种基于神经网络的算法，用于计算强和弱输运成本的最优输运图和计划，并证明了神经网络是概率分布之间传输计划的通用逼近器。通过在玩具示例和非成对图像翻译上评估我们的最优输运算法的性能。

Jan, 2022