BN-NAS:带有批标准化的神经架构搜索
本文采用经典的贝叶斯学习方法,利用分层自动相关决策(HARD)先验对架构参数进行建模以缓解一次 NAS 方法中存在的两个问题,并成功利用 CIFAR-10 数据集在 0.2 GPU 天内找到了精确的架构,同时通过提供结构稀疏性实现了分类精度极高且极度稀疏的卷积神经网络压缩。
May, 2019
本文的研究内容是基于文本数据集的循环神经网络搜索空间,旨在为神经架构搜索和自然语言处理 (NLP) 社区提供高潜力的研究成果。在实验中,研究者在文本数据集上训练了 14k 种循环神经网络结构,并进行了内在和外在的评估,最终测试了多个神经架构搜索算法并展示了预计算结果的可利用性。
Jun, 2020
本文提出一种新颖的网络架构搜索 (NAS) 方法,用于优化 Bayesian 神经网络(BNN)的精度和不确定性,同时减少推理延迟。与传统的 NAS 不同,该方法使用来自内部和外部分布的数据搜索模型的不确定性性能,从而可以在网络中搜索贝叶斯层的正确位置,并且相对于流行的 BNN 基线,使用的运行时仅为其一小部分,将推理运行时成本分别与 MCDropout 和 deep ensemble 相比在 CIFAR10 数据集上分别降低了 2.98 倍和 2.92 倍。
Feb, 2022
本文旨在通过将神经体系结构搜索的大搜索空间模块化为块,以确保潜在的候选架构完全训练,从而降低共享参数引起的表示移位并导致对候选项的正确评级,并且从教师模型中提取体系结构知识来指导我们的块搜索,这显着提高了 NAS 的有效性和效率。
Nov, 2019
本文介绍了一种基于神经架构搜索(NAS)的新方法,称为神经架构传递(NAT),该方法可将已训练的超网络集成到在线迁移学习和多目标进化搜索流程中,以快速生成适用于多个应用场景的任务特定定制模型,并在 11 项基准图像分类任务中证明了其有效性。
May, 2020
提出了一种基于图卷积网络(GCN)的性能预测器,用于实现高效的硬件感知神经架构搜索(BRP-NAS)。与以往的方法不同,该方法重视模型之间的二元关系和迭代数据选择策略,实现了更高效的样本利用率。研究表明,该方法在多项飞行器搜索领域中的性能表现均优于现有方法,并呼吁人们重视准确的时延估计。
Jul, 2020
本文描述了 BootstrapNAS,这是一个用于自动生成 NAS 超网络的软件框架,它基于预先训练的模型创建超网络,然后使用先进的 NAS 技术来训练超网络,生成有效的子网络,为资源受限的边缘设备提供高效解决方案。
Dec, 2021
本文提出了一种快速 NPU 感知的 NAS 方法 S3NAS,通过超网设计、单路径 NAS 和扩展这三步实现在给定延迟限制下寻找具有更高准确性的 CNN 结构,通过该方法,在 3 小时内使用 TPUv3 找到了一种具有 82.72% Top-1 准确度和 11.66 毫秒延迟的网络。
Sep, 2020
本研究使用网络激活度重叠的方式实现预测神经网络的训练精度,并将其应用于神经结构搜索,以实现在单个 GPU 上进行快速网络搜索。同时,我们还提出了一种基于正则化进化搜索的适应方法,以进一步提高搜索效率。
Jun, 2020
利用神经切向核和输入空间中的线性区域数来排名结构,通过 TE-NAS 框架进行训练 - free 的神经体系结构搜索,使用基于剪枝的 NAS 机制进行灵活且优越的权衡,实现在 CIFAR-10 和 ImageNet 上只花费 0.5 和 4 GPU 小时完成的高质量搜索。
Feb, 2021