Nov, 2022

CR-LSO：输入凸性神经网络下基于图变分自编码器的潜空间凸性神经架构优化

PDF
TL;DR本文提出了一种凸性正则化潜变量优化（CR-LSO）方法，使用图形变分自动编码器（G-VAE）和输入凸神经网络（ICNNs）实现神经结构搜索，并在三个 NAS 基准测试中获得具有竞争优势的计算和性能结果。
neural architecture searchlatent space optimizationconvexity regularizationgraph variational autoencoderinput convex neural networks
发现论文，激发创造
  • 神经架构优化

    本论文提出了一种基于连续优化的自动神经架构设计方法，使用编码器、预测器和解码器组成的方法在连续空间中进行梯度优化，通过将较好的嵌入解码成新的架构，最终实现在 CIFAR-10 和 PTB 数据集上高效发现神经网络，并与之前的方法相比实现了较好的效果。

    Aug, 2018

  • 一次搜索即可：通过直接稀疏优化进行单射神经架构搜索

    该论文提出了一种名为 DSO-NAS 的神经架构搜索方法，采用基于稀疏正则化的模型修剪视角，利用逐步引入稀疏网络的方法来解决搜索空间庞大且不连续的问题，在 CIFAR-10 数据集上达到了 2.84％的平均测试误差，在 ImageNet 数据集上，仅使用 8 块 GPU 600M FLOPs 进行 18 小时的训练可以达到 25.4％的测试误差。

    Nov, 2018

  • 图神经网络中的神经结构搜索

    本文比较了基于强化学习和进化算法的两种神经架构搜索方法来优化图神经网络，结果在包括 7 个数据集的两个搜索空间内显示出两种方法的准确性与随机搜索相似，引出了有多少搜索空间维度实际上与问题相关的问题。

    Jul, 2020

  • 通过压缩感知的单次神经架构搜索

    本文提出一种迭代学习方法，旨在解决神经架构搜索中的元学习问题。该方法使用参数共享思想，利用代理模型来减少 NAS 运行时间，并在 DARTs 搜索空间和 NAS-Bench-201 上验证了其可行性。此外，作者还提供了理论分析及脱敏研究以进一步深入了解其技术。

    Jun, 2019

  • LISSNAS: 基于局部性的迭代搜索空间缩减的神经架构搜索

    我们提出了 LISSNAS，一种自动算法，它将一个大空间缩小为一个多样化的小搜索空间，具有 SOTA 的搜索性能。我们展示了我们的方法在不同大小和数据集范围的搜索空间上的效果，并在两个不同的搜索空间中实现了最佳的 Top-1 准确率。在移动约束下，我们的方法在 ImageNet 上实现了 SOTA 的 Top-1 准确率为 77.6％，具有最佳的 Kendal-Tau、架构多样性和搜索空间大小。

    Jul, 2023

  • 神经网络结构生成器优化

    本文提出了一种将神经结构搜索 (NAS) 看作寻找最优网络生成器的问题，同时提出了一种新的、层次化和基于图形的搜索空间，实现了在极少连续超参数的情况下表示极大多样性的网络类型。通过贝叶斯优化作为搜索策略，该方法有效地扩展了有效架构的范围，促进了多目标学习方法的发展， 并在六个基准数据集上进行了验证，在生成轻量级且高度竞争的模型方面表现出了有效性。

    Apr, 2020

  • 卷积网络的神经结构搜索简介

    本文介绍了神经架构搜索的基本概念以及搜索空间、算法和评估技术的主要进展。

    May, 2020

  • 多目标卷积自编码器神经进化 (MONCAE)

    本文提出了一种新颖的神经进化方法来确定卷积自编码器的结构和超参数，使用超体积指标在神经架构搜索的背景下进行压缩图像来加快 AutoML 流程。

    Jun, 2021

  • 神经算法推理器的潜在空间表征

    神经算法推理 (NAR) 是一个研究领域，旨在设计神经网络结构，能够可靠地捕捉经典计算，通常通过学习执行算法。该研究分析了图神经网络 (GNN) 在执行算法时所产生的潜在空间结构，并提出了解决失去分辨率和处理训练范围之外值的方法。通过在基准测试中使用最先进的 Triplet-GMPNN 处理器，我们表明这些改变可以改善大多数算法的性能。

    Jul, 2023

  • 神经架构搜索的几何感知梯度算法

    本文研究神经架构搜索中的优化问题，提出一种基于单层经验风险最小化的几何感知框架，结合梯度下降和正则化的优化器，通过基于连续优化的松弛方法实现对离散寻找空间的搜索，成功为计算机视觉中的最新 NAS 基准提供了一种优异的算法。

    Apr, 2020