ICLRMar, 2023

OTOV2：自动化、通用型、用户友好型

PDF
TL;DR本研究提出了一种自动压缩深度神经网络的方法 (OTOv2)，它通过将可训练变量分配到零不变组合中，并使用新颖的 DHSPG 优化器来自动构建高性能的压缩模型，同时将其应用于各种模型结构的图像分类任务，并在大多数数据集上表现优秀，是一种通用且可自主训练的模型压缩方法。
model compressiondeep learningstructured pruningoptimizerautonomous training
发现论文，激发创造
  • OTOv3：从结构化修剪到删除运算符的自动架构无关的神经网络训练和压缩

    通过压缩和擦除操作，自动训练和压缩一般 DNN，创建紧凑且有竞争力的子网络，无需微调，简化和自动化训练和压缩过程，减少用户的工程工作。

    Dec, 2023

  • 仅需一次训练：一种一次性神经网络训练和剪枝框架

    本研究提出一种新的框架，通过 OPO（只训练一次）将 DNN 网络压缩成性能出色、FLOPs 很小的较瘦的架构， OTO 将两个关键因素组合在一起：（1）将 DNN 网络参数分成零不变组，使我们能够修剪零组而不影响输出；（2）为了促进零组，我们进一步制定了一个结构稀疏最优化问题，并提出了一个新的优化算法 ——HSPG（半空间随机投影梯度），用于解决它。

    Jul, 2021

  • Auto-Train-Once：来自零的控制器网络引导的自动网络剪枝

    我们提出了 Auto-Train-Once（ATO）算法，旨在自动减少深度神经网络的计算和存储成本，通过训练目标模型同时利用控制器网络作为架构生成器来指导目标模型权重的学习，并利用新颖的随机梯度算法增强模型训练和控制器网络训练之间的协调，从而提高剪枝性能。在本文中，我们提供了全面的收敛分析和大量实验，结果表明我们的方法在各种模型架构（包括 ResNet18、ResNet34、ResNet50、ResNet56 和 MobileNetv2）以及标准基准数据集（CIFAR-10、CIFAR-100 和 ImageNet）上实现了最先进的性能。

    Mar, 2024

  • 通往通用超级网络的自动神经架构搜索

    提出第三代 “只训练一次（OTOv3）” 自动化系统，在不需要人工手工干预的情况下训练通用超级网络，并以单次方式生成高性能子网络，该系统在广泛的超级网络上实现了很好的优化性能，并且相对于超级网络及其他技术水平优越的性能。

    May, 2023

  • 深度学习压缩中的迁移能力鲁棒性

    本文介绍了两种增强深度神经网络压缩系统鲁棒性的方法，采用分布鲁棒优化和结构化潜在代码进行训练，取得较传统深度神经网络压缩器更优的效果。

    Oct, 2021

  • TAOTF: 一种在深度神经网络中使用的两阶段近似正交训练框架

    本文提出了一种新的两阶段近似正交训练框架（TAOTF），通过在深度神经网络模型中应用软正交约束来解决噪声数据情况下模型的鲁棒性问题，并在自然图像和医学图像数据集上进行评估表明，我们的方法实现了比现有方法更稳定和优越的性能。

    Nov, 2022

  • 学习可推广到分布外的模块化结构

    本文提出一种针对机器学习系统中的 O.O.D. generalization 挑战的方法，通过训练鼓励模型仅保留在多个训练领域中被很好地重用的网络特征，结合两种互补的神经元级约束器和网络上的可微分二进制蒙版，提取模块化子网络以达到更好的 O.O.D. 性能。初步评估在两个基准数据集上证实了我们方法的优势。

    Aug, 2022

  • 使用单次剪枝量化压缩深度神经网络

    本文提出了一种新颖的一次性剪枝量化（OPQ）方法，使用预先训练的模型参数解决剪枝和量化问题，并通过统一的通道量化方法提高了训练效率和压缩比。对于 AlexNet/MobileNet-V1/ResNet-50 等模型在 ImageNet 数据集上展开全面实验，结果表明该方法相对于目前最先进的技术可以获得更高的压缩比和更好的训练效率。

    May, 2022

  • DeepZero：扩展零阶优化以提升深度模型训练

    DeepZero 是一个基于 Zeroth-order optimization 的深度学习框架，通过三个主要创新使得 ZO 优化可用于深度神经网络的训练，同时实现了与一阶优化相当的性能，其优点包括坐标梯度估计（CGE）在训练准确性和计算效率上的优势，以及利用模型剪枝方法扩展稀疏 DL 先验信息的 ZO 训练协议，并通过特征重用和前向并行化方法提高 ZO 训练的实际实施。

    Oct, 2023

  • AutoCompress: 一款用于超高压缩率的自动 DNN 结构剪枝框架

    本文提出 AutoCompress，一种自动结构化剪枝框架，可实现超高剪枝比率，同时提供自动超参数确定过程，以及采用最先进的 ADMM-based 结构加权剪枝作为核心算法，并提出了一种新的附加净化步骤，无需损失准确性进行更进一步的权重减少，其有效的启发式搜索方法通过基于经验的指导搜索进行增强，代替了具有潜在不兼容性的问题的先前深度强化学习技术。

    Jul, 2019