借助 Differentiable Architecture Search,本研究提出了 sharpDARTS 搜索方式,该方式在 CIFAR-10 数据集上取得了相对错误率 20-30% 的进展,并在模型大小相似的情况下创下了目前最先进的 1.93% 的验证误差和 25.1% 的 ImageNet top-1 误差,同时,通过 Differentiable Hyperparameter Grid Search 和 HyperCuboid 搜索空间的设计和优化,本研究也证明了 sharpDARTS 更具通用性,提出了 Max-W 正则化以解决 DARTS 在新领域中的泛化问题。
Mar, 2019
本研究针对 DARTS 的性能崩溃问题,提出采用更全局的优化方案,以更好地探索神经结构搜索空间,从而发现测试性能更佳、参数更少的神经网络架构。
Apr, 2021
本篇论文提出了一种名为 P-DARTS 的算法来解决神经网络架构搜索中的 transfer learning 问题,并在 CIFAR10 数据集以及几个目标问题(包括 ImageNet 分类,COCO 检测和三个 ReID benchmarks)上实现了更好的性能。
Dec, 2019
在本文中,我们提出了用于比较 NAS 方法的基准测试,并对常用的 DARTS search space 进行了进一步的实验。我们发现,手工设计的宏观结构比搜索到的微观结构更重要,并且深度间隔是一个真实的现象,最后我们提出了最佳实践以帮助缓解当前的 NAS 缺陷。
本文研究了 Differentiable Architecture Search 在新问题上失效的问题,发现了通过添加不同类型的正则化项可以改善其在架构空间中高验证损失曲率区域的性能,提出了几种简单的改进方案,实测表现更加稳健。这些观察结果适用于五种搜索空间,三个图像分类任务,以及稠密回归任务和语言建模任务。
Sep, 2019
通过理论和实证分析,发现 DARTS 算法中存在的权值共享框架以及极限收敛点限制了模型最优结构的选择,导致性能严重下降,提出了两个新的正则化项解决了上述问题。
Oct, 2022
提出 NAS-Bench-201,通过设计新的搜索空间和提供多个数据集的结果以及诊断信息,为几乎所有最新的 NAS 算法提供一个统一的基准,从而避免了重复训练,并提高了搜索算法的效率。
Jan, 2020
对现有的神经网络架构搜索方法进行了研究,发现 DARTS 方法在寻找优秀子网络方面效率高且简单,但存在性能崩溃的问题,导致架构充斥着无需参数的操作,提出了 IS-DARTS 方法来解决这些问题,并通过理论和实验分析揭示了问题的根本原因和解决途径,验证了 IS-DARTS 的有效性。
Dec, 2023
我们提出了一种使用固定操作进行微调的方法,改进了现有方法并在多个数据集上取得了更好的分类准确性,同时在计算资源上取得了一个很好的折衷。
Jun, 2020
提出一种基于扰动的正则化方法 SmoothDARTS,通过随机平滑或对抗攻击稳定 DARTS-based 方法,能够在四个数据集上提高模型的稳定性和性能,并通过数学证明表明该方法能隐式地规范化验证损失的 Hessian 范数以实现更平滑的损失和更好的性能。
Feb, 2020