May, 2019

可微架构压缩（DARC）

PDF
TL;DR本文提出一种新的范例叫做 Differentiable ARchitecture Compression (DARC)，这种方法结合了模型压缩和架构搜索的优势从而能够学习出在推理时更加高效的模型，DARC 能够应用于任何神经架构，并在现代卷积神经网络进行图像分类的实验结果表明，对于 CIFAR-10 上的 WideResNet，我们将单样本推理速度提高了 2.28 倍，内存占用降低了 5.64 倍，而准确率没有损失。对于在 ImageNet 数据集上具有 79.15% Top1 准确率的 ResNet，我们提高了 1.29 倍的批量推理速度和 3.57 倍的内存占用，并且仅损失了 1% 的准确率。此外，我们提供了简化的理论 Rademacher 复杂度界限，展示了 DARC 如何在数据过度载入的情况下避免了过度拟合的问题。
发现论文，激发创造
  • RC-DARTS: 资源受限的可微分架构搜索

    本文提出了资源限制下的可微架构搜索方法 (RC-DARTS)，以较小的模型尺寸和计算复杂度实现与最先进方法相当的性能，并通过对 Cifar10 和 ImageNet 数据集的实验进行了验证。

    Dec, 2019

  • 可微架构搜索：DARTS

    本文介绍了一种基于可微分的连续松弛方法来应对体系结构搜索的可扩展性挑战，该方法可在 CIFAR-10、ImageNet、Penn Treebank 和 WikiText-2 等数据集中快速搜索高性能的卷积体系结构和循环体系结构。

    Jun, 2018

  • sharpDARTS: 更快更准确的可微架构搜索

    借助 Differentiable Architecture Search，本研究提出了 sharpDARTS 搜索方式，该方式在 CIFAR-10 数据集上取得了相对错误率 20-30% 的进展，并在模型大小相似的情况下创下了目前最先进的 1.93% 的验证误差和 25.1% 的 ImageNet top-1 误差，同时，通过 Differentiable Hyperparameter Grid Search 和 HyperCuboid 搜索空间的设计和优化，本研究也证明了 sharpDARTS 更具通用性，提出了 Max-W 正则化以解决 DARTS 在新领域中的泛化问题。

    Mar, 2019

  • 一种紧凑型深度神经网络：实现接近 GoogLeNet 分类和领域自适应的精度

    本文介绍了一种基于新型模块 Conv-M 的超轻量级深度神经网络，该神经网络在不降低单数据集分类精度的前提下，提高了领域自适应 (DA) 任务的准确性，通过无监督的 DA 方法，在提高模型 invariance 同时，也适应了标签预测。该神经网络仅有 410 万参数，是 AlexNet 的 6.7％或 GoogLeNet 的 59％，并在常见的 Office-31 和 Office-Caltech 数据集上达到了 18 个 DA 任务中的 16 个的最新最佳水平。

    Mar, 2017

  • 可微架构与遗忘搜寻的增量学习

    本文提出了一种基于 DARTS 和最先进的增量学习策略的增量学习强基准方法，并将架构搜索的思想扩展到正则化架构遗忘，从而在 RF 信号和图像分类任务中实现性能的显著提升，取得了比现有方法高出 10％的结果。

    May, 2022

  • Progressive DARTS: 在野外框架中弥合 NAS 的优化差距

    本篇论文提出了一种名为 P-DARTS 的算法来解决神经网络架构搜索中的 transfer learning 问题，并在 CIFAR10 数据集以及几个目标问题（包括 ImageNet 分类，COCO 检测和三个 ReID benchmarks）上实现了更好的性能。

    Dec, 2019

  • 循环可微架构搜索

    提出了一种新的循环不可微分神经网络结构搜索方法，命名为 CDARTS，通过引入反复振荡的联合优化目标和自省蒸馏循环反馈机制，在分类监督下，有效地实现了搜索和评估网络的联合优化，取得了 97.52％在 CIFAR10 上的 top-1 准确率和 76.3％在 ImageNet 上的 top-1 准确率。

    Jun, 2020

  • PC-DARTS: 部分通道连接用于内存高效的架构搜索

    本文提出了一种称为部分连接的差分建模搜索方法，通过采样超级网络的一小部分来减少探索网络空间的冗余，从而执行更有效的搜索，同时通过边缘标准化减少测量的不确定性以获得更高的训练稳定性。

    Jul, 2019

  • DrNAS: Dirichlet 神经架构搜索

    该研究论文提出了一种新的可微分架构搜索方法，通过分布学习问题来加以实现，并将连续松弛的架构混合权重视为随机变量，以 Dirichlet 分布进行建模，通过路径导数优化 Dirichlet 参数，并采用渐进学习方案消除了不同 iable NAS 的大内存消耗，在 CIFAR-10、ImageNet 和 NAS-Bench-201 等几个数据集上取得了最先进的结果。

    Jun, 2020

  • 图像分类中的 DARTS 微调

    我们提出了一种使用固定操作进行微调的方法，改进了现有方法并在多个数据集上取得了更好的分类准确性，同时在计算资源上取得了一个很好的折衷。

    Jun, 2020