Nov, 2023

基于教师 - 学生框架的轻量级扩散模型与块神经结构搜索

PDF
TL;DR基于扩散模型的神经网络结构搜索方法 DiffNAS 可以自动消除结构冗余，从而在减少计算复杂度的同时保持甚至提升性能。实验证明，DiffNAS 可以在潜在的扩散模型中达到 50% 的计算和参数减少，取得显著的计算缩减效果。
diffusion modelsdiffnasblock-wise neural architecture searchcomputational reductionlatent diffusion models
发现论文，激发创造
  • 带有知识蒸馏的分块监督神经网络架构搜索

    本文旨在通过将神经体系结构搜索的大搜索空间模块化为块，以确保潜在的候选架构完全训练，从而降低共享参数引起的表示移位并导致对候选项的正确评级，并且从教师模型中提取体系结构知识来指导我们的块搜索，这显着提高了 NAS 的有效性和效率。

    Nov, 2019

  • 多条件图传播的神经架构搜索

    使用基于图扩散的神经网络架构搜索方法，通过离散条件图扩散过程生成高性能神经网络架构，并应用多条件无分类器引导方法来共同施加高准确性等约束。

    Mar, 2024

  • DrNAS: Dirichlet 神经架构搜索

    该研究论文提出了一种新的可微分架构搜索方法，通过分布学习问题来加以实现，并将连续松弛的架构混合权重视为随机变量，以 Dirichlet 分布进行建模，通过路径导数优化 Dirichlet 参数，并采用渐进学习方案消除了不同 iable NAS 的大内存消耗，在 CIFAR-10、ImageNet 和 NAS-Bench-201 等几个数据集上取得了最先进的结果。

    Jun, 2020

  • DiffNAS: 通过促使更好的架构引导扩散模型

    通过使用扩散模型和基模型搜索的方法，在基于 GPT-4 场景下，提高了搜索效率 2 倍，并在 CIFAR10 上相对于基准 IDDPM 算法，取得了 2.82 的性能和 0.37 的 FID 改进。

    Oct, 2023

  • DiffusionNAG: 使用扩散模型进行任务引导的神经网络架构生成

    提出了一个基于扩散模型的、可高效生成任务最优神经结构的 DiffusionNAG 架构，它可以利用以前的 NAS 任务和神经结构分布的先前知识生成任务最优的神经结构，并引入一个得分网络，从而确保合法神经结构的生成。我们的扩散 NAG 在体系结构生成功力和计算成本方面明显优于现有的转移 NAG 模型和前面提出的 NAS 方法，在四个计算机视觉数据集上证明了它的有效性。

    May, 2023

  • 离散化差异的魔鬼：用单阶段搜索协议来强化可微 NAS

    神经架构搜索被广泛应用于各种计算机视觉任务，其中不可微分神经架构搜索是其中一个有前景的子领域。然而，基于梯度的方法受到离散化误差的影响，从而严重损害了获取最终架构的过程。我们的工作首次研究了离散化误差的风险，并展示了如何影响非规则化超网络。为了增强 DNAS 框架的鲁棒性，我们引入了一种新的单阶段搜索协议，不依赖于解码连续架构。我们的结果表明，这种方法在 Cityscapes 验证数据集的搜索阶段达到了 75.3% 的性能，并且在包含短连接的非稠密搜索空间上比 DCNAS 的最佳网络性能高 1.1%。整个训练过程只需 5.5 个 GPU 天，由于权重重用，获得了计算效率高的架构。此外，我们提出了一种新的数据集分割过程，大大提高了结果并防止了 DARTS 中架构退化。

    May, 2024

  • 多样任务有效的架构搜索

    本文研究了基于神经架构搜索（NAS）的自动机器学习（AutoML）在计算机视觉以外的任务上的应用，作者提出了一种名为 DASH 的不同 iable NAS 算法，用于搜索卷积神经网络（CNN）的卷积核，实现了在多种应用领域上最先进的自动化性能。

    Apr, 2022

  • 通过自蒸馏改进可微分架构搜索

    本篇论文提出了一种基于自蒸馏不同的神经网络结构搜索方法，通过投票教师的方式引导折叠网络的训练，并且与现有最先进的神经网络结构搜索方法相比，实验结果表明了它的优越性。

    Feb, 2023

  • 用于语言模型中有效师生知识迁移的神经结构搜索

    提出了使用神经架构搜索（NAS）来寻找最佳学生模型进行知识蒸馏的 KD-NAS 模型，该模型检索出与自然语言任务关联的顶级候选架构，然后在完整的下游任务培训集上提取架构，获得与手工制作的学生模型相当的性能，在 GPU 延迟方面却以 15％的速度提升（CPU 方面则以 20％的速度提升）。

    Mar, 2023

  • AutoDistil: 面向任务无关的少样本神经架构搜索，用于蒸馏大型语言模型

    该篇论文提出了一种名为 AutoDistil 的新 KD 方法，利用 NAS 自动蒸馏出可变成本的压缩模型，该方法使用归纳偏差和技巧将搜索空间分成 K 个紧凑的子空间，并使用每个子空间产生的超级模型进行训练，以在不需要重新训练的情况下进行轻量级搜索，实验表明该方法在 GLUE 基准测试中表现优异。

    Jan, 2022