测地线、非线性和新奇搜索存档
本文比较了基于强化学习和进化算法的两种神经架构搜索方法来优化图神经网络,结果在包括 7 个数据集的两个搜索空间内显示出两种方法的准确性与随机搜索相似,引出了有多少搜索空间维度实际上与问题相关的问题。
Jul, 2020
本篇论文研究了神经架构搜索中搜索策略的有效性,并比较了 NAS 搜索策略与随机体系结构选择的质量,发现当前优秀的 NAS 算法与随机策略表现相似,并且广泛使用的权重共享策略降低了 NAS 候选项的排名。通过该研究,期望设计出更为优越的 NAS 策略和创造一一种新的评估框架。
Feb, 2019
本文提出了一种将神经结构搜索 (NAS) 看作寻找最优网络生成器的问题,同时提出了一种新的、层次化和基于图形的搜索空间,实现了在极少连续超参数的情况下表示极大多样性的网络类型。通过贝叶斯优化作为搜索策略,该方法有效地扩展了有效架构的范围,促进了多目标学习方法的发展, 并在六个基准数据集上进行了验证,在生成轻量级且高度竞争的模型方面表现出了有效性。
Apr, 2020
本文研究神经架构搜索中的优化问题,提出一种基于单层经验风险最小化的几何感知框架,结合梯度下降和正则化的优化器,通过基于连续优化的松弛方法实现对离散寻找空间的搜索,成功为计算机视觉中的最新 NAS 基准提供了一种优异的算法。
Apr, 2020
本文对神经网络结构自动设计的算法 —— 神经架构搜索进行了全面的综述与研究,提出了对早期算法的问题的总结和解决方案,并对这些工作进行了详细的比较和总结。文章最后给出了可能的未来研究方向。
Jun, 2020
在本文中,我们提出了用于比较 NAS 方法的基准测试,并对常用的 DARTS search space 进行了进一步的实验。我们发现,手工设计的宏观结构比搜索到的微观结构更重要,并且深度间隔是一个真实的现象,最后我们提出了最佳实践以帮助缓解当前的 NAS 缺陷。
Dec, 2019
本文提出了一个名为 SANE 的框架,用于自动设计数据特定的 GNN 体系结构,并通过设计新颖且具有表现力的搜索空间和更有效的可微搜索算法,解决了 NAS 方法面临的计算难题。在四项任务和七个真实世界的数据集上的实验结果表明,SANE 在效率和效果方面比现有的 GNN 模型和 NAS 方法更为优异。
Apr, 2021
本文提出了两种轻量级的神经架构搜索算法,并将 NAS 问题转化为多智能体问题以提高计算效率,理论上证明了 O (sqrt (T)) 的消失后悔率,实验结果在多个数据集和网络配置上表现优异,其中包括随机搜索。
Sep, 2019
本文探讨了一种新的神经架构搜索度量方式,发现损失曲面的平整度可以预测神经网络架构的泛化能力,通过在不同的搜索空间进行评估,提出的方法相对于现有的 NAS 方法表现更好,并且在数据分布偏移以及目标检测或语义分割等任务中具有稳健的泛化能力。
May, 2023
我们提出了一种基于课程学习的神经网络架构搜索方法 CNAS,通过逐渐扩展搜索空间的方式,显着提高了搜索效率并发现了比现有 NAS 方法更好的体系结构。
Jul, 2020