Mar, 2024

Auto-Train-Once：来自零的控制器网络引导的自动网络剪枝

PDF
TL;DR我们提出了 Auto-Train-Once（ATO）算法，旨在自动减少深度神经网络的计算和存储成本，通过训练目标模型同时利用控制器网络作为架构生成器来指导目标模型权重的学习，并利用新颖的随机梯度算法增强模型训练和控制器网络训练之间的协调，从而提高剪枝性能。在本文中，我们提供了全面的收敛分析和大量实验，结果表明我们的方法在各种模型架构（包括 ResNet18、ResNet34、ResNet50、ResNet56 和 MobileNetv2）以及标准基准数据集（CIFAR-10、CIFAR-100 和 ImageNet）上实现了最先进的性能。
发现论文，激发创造
  • 仅需一次训练：一种一次性神经网络训练和剪枝框架

    本研究提出一种新的框架，通过 OPO（只训练一次）将 DNN 网络压缩成性能出色、FLOPs 很小的较瘦的架构， OTO 将两个关键因素组合在一起：（1）将 DNN 网络参数分成零不变组，使我们能够修剪零组而不影响输出；（2）为了促进零组，我们进一步制定了一个结构稀疏最优化问题，并提出了一个新的优化算法 ——HSPG（半空间随机投影梯度），用于解决它。

    Jul, 2021

  • OTOv3：从结构化修剪到删除运算符的自动架构无关的神经网络训练和压缩

    通过压缩和擦除操作，自动训练和压缩一般 DNN，创建紧凑且有竞争力的子网络，无需微调，简化和自动化训练和压缩过程，减少用户的工程工作。

    Dec, 2023

  • OTOV2：自动化、通用型、用户友好型

    本研究提出了一种自动压缩深度神经网络的方法 (OTOv2)，它通过将可训练变量分配到零不变组合中，并使用新颖的 DHSPG 优化器来自动构建高性能的压缩模型，同时将其应用于各种模型结构的图像分类任务，并在大多数数据集上表现优秀，是一种通用且可自主训练的模型压缩方法。

    Mar, 2023

  • 通往通用超级网络的自动神经架构搜索

    提出第三代 “只训练一次（OTOv3）” 自动化系统，在不需要人工手工干预的情况下训练通用超级网络，并以单次方式生成高性能子网络，该系统在广泛的超级网络上实现了很好的优化性能，并且相对于超级网络及其他技术水平优越的性能。

    May, 2023

  • Once-for-All: 训练一个网络并为其专门优化以实现高效部署

    我们提出了一种基于一次训练（OFA）网络的方法，通过将训练和搜索分离，支持多种网络结构并可以快速选择以减少计算成本。使用渐进式缩减算法进行高效训练，在各种边缘设备上具有优异的表现和更少的能源成本，赢得了 Low Power Computer Vision Challenge 的胜利。

    Aug, 2019

  • 网络修剪：一种面向高效深度结构的数据驱动神经元裁剪方法

    该论文提出了基于剪枝算法的神经网络优化方法，能够在不影响网络准确率的情况下减轻计算和内存开销，实现较高的参数压缩比。

    Jul, 2016

  • 越少越好：数据修剪加速对抗训练

    提出基于数据修剪的针对深度神经网络的对抗训练，通过减少数据层面的冗余来提高计算效率，实现和未修剪模型相似或更高的鲁棒性和准确性。

    Feb, 2023

  • 思考修剪在后门缓解中的作用：优化的视角

    为了解决剔除被感染深度神经网络中的后门相关神经元的问题，在现有方法的基础上，我们提出了优化神经元剪枝（ONP）方法，结合图神经网络（GNN）和强化学习（RL），通过学习图嵌入和找到适当的剪枝策略来修复后门模型。实验证明，ONP 可以在几乎没有性能降级的情况下有效剪枝由一组后门攻击植入的后门神经元，从而实现了后门缓解领域的最新最佳性能。

    May, 2024

  • 加速需求：一种修剪变换器的方法

    一种用于提高预训练变换器体系结构效率的 OPTIN 框架，通过中间特征蒸馏捕捉模型参数的长程依赖（称为轨迹），在不需要重新训练的情况下在自然语言、图像分类、迁移学习和语义分割任务方面产生最先进的结果。同时，在满足 FLOP 限制的情况下，OPTIN 框架将网络进行压缩，保持竞争性准确性性能和提高吞吐量。

    Mar, 2024

  • 关于深度操作网络的训练和泛化

    我们提出了一种新颖的深度算子网络（DeepONets）的训练方法，通过将整个复杂训练任务分解为两个简化的子任务，首先训练主干网络，然后顺序训练分支网络，并引入了格拉姆 - 施密特正交化过程以提高稳定性和泛化能力。

    Sep, 2023