Dec, 2017

使用 UCT 算法在一天内找出具有竞争力的网络架构

PDF
TL;DR本论文提出了使用蒙特卡罗规划结合两种不同的 UCT（基于树的上限置信度）推导来搜索网络架构，并在一天内找到了 MNIST、SVHN 和 CIFAR-10 的一个具有竞争力的网络，将搜索时间扩展到五天，能够超越人类架构及其同类层次的竞争者。
neural network architectureautomated methodmonte carlo planninguct algorithmgpu computing time
发现论文，激发创造
  • 简单高效的卷积神经网络架构搜索

    该研究提出了一种自动设计合适的卷积神经网络结构的方法，使用了能产生网络变形的 “山峰爬升法” 和余弦退火法，并取得了较为优异的结果。

    Nov, 2017

  • 带蒙特卡罗树搜索的优先级架构抽样

    通过基于 Monte Carlo 树搜索的采样策略，依赖于各层之间的关系，使用节点通信和分层选择方法以实现更好的探索和利用平衡，并构建了一个基于 CIFAR-10 的宏搜索空间的开源 NAS 基准测试 NAS-Bench-Macro，从而显著提高了搜索效率和性能。

    Mar, 2021

  • 关于资源受限硬件平台的神经架构搜索

    提出了一种新的框架，用于在限制条件下寻找最优的量化神经架构并实现在给定的硬件规格上，该框架使用 FPGAs 来实现和测试设计并在 CIFAR10 任务中提高了 18％至 68％的准确性。

    Oct, 2019

  • 高效架构搜索的层次化表示

    本文介绍了一种基于层次遗传表征和复杂拓扑的新颖神经体系结构搜索方法，该方法能够高效地发现优于许多手动设计模型的分类器，同时该方法通过随机搜索得到了更高的准确度并将搜索时间缩短至 1 小时。

    Nov, 2017

  • 使用深度神经网络和蒙特卡罗树搜索进行神经架构搜索

    本文提出了一个名为 AlphaX 的新型可扩展 Monte Carlo Tree Search (MCTS) NAS 代理，该代理通过元深度神经网络 (DNN) 预测网络准确度，进而优化探索效率，降低网络评估成本，且在 CIFAR-10、ImageNet 和 NASBench-101 数据集上均取得了优异的结果。

    May, 2018

  • 神经架构搜索综述

    本文综述了现有的方法，囊括了计算机领域中的神经体系结构搜索、自动化方法和深度学习等方面，内容包括常用的体系结构搜索空间和基于强化学习和进化算法的体系结构优化算法、模拟模型和单次模型。同时，文章对新的研究方向进行了探讨。

    May, 2019

  • 山口爬升领域神经架构搜索的新框架

    本研究提出了一个新的神经架构搜索框架，它基于一个使用形态操作的爬山过程并采用新的梯度更新方法。该技术可以在更广泛的搜索空间中搜索，从而产生竞争优势，其在单个 GPU 训练的 19.4 小时内在 CIFAR-10 数据集上实现了 4.96％的错误率。

    Feb, 2021

  • DeepArchitect: 自动设计和训练深层体系结构

    本文提出一种可自动设计、训练深度神经网络的框架，通过自动配置架构和超参数进行模型搜索，实现了对复杂搜索空间的高效探索，并展示了随机搜索、蒙特卡罗树搜索和顺序模型优化等多种模型搜索算法在 CIFAR-10 数据集上的比较试验结果。

    Apr, 2017

  • 四个 GPU 小时的 ImageNet 上神经架构搜索：理论启发视角

    利用神经切向核和输入空间中的线性区域数来排名结构，通过 TE-NAS 框架进行训练 - free 的神经体系结构搜索，使用基于剪枝的 NAS 机制进行灵活且优越的权衡，实现在 CIFAR-10 和 ImageNet 上只花费 0.5 和 4 GPU 小时完成的高质量搜索。

    Feb, 2021

  • 在四个 GPU 小时内寻找强韧的神经网络结构

    通过可微分采样器实现基于梯度下降的神经结构搜索方法，旨在在 CIFAR-10 数据集上提升搜索效率并获取与最新技术水平持平的测试准确率。

    Oct, 2019