神经网络架构检索

Jul, 2023

Neural Architecture Retrieval

Xiaohuan Pei, Yanxi Li, Minjing Dong, Chang Xu

TL;DR提出了一种新的算法，用于检索与待设计神经结构相似的已存在的神经结构，并引入分层对比学习实现准确定义，它在人工设计和合成神经结构的评价中表现出卓越性能，并建立了包含 12000 个真实世界网络结构及其嵌入的数据集。

Abstract

With the increasing number of new neural architecture designs and substantial existing neural architectures, it becomes difficult for the researchers to situate their contributions compared with existing neural architectures or establish the connections between their designs and other

neural architecture retrieval graph pre-training contrastive learning real-world network architectures

发现论文，激发创造

教师指导的架构搜索

使用表征相似性分析来评估待选网络内部激活与固定高性能教师网络的相似性可以提高搜索效率。结果表明，这种方法可以以比现有算法更低的计算成本发现相关于已知算法性能的卷积细胞结构，并且只需使用灵长类视觉系统中大约 300 个神经元的测量数据即可实现优于基于性能的搜索方法的结果。

Aug, 2018

神经网络架构搜索：综述

本文通过分类讨论搜索空间、搜索策略与性能估计策略三种维度，为神经架构自动搜索方法的存在研究提供了一个概述。

Aug, 2018

神经架构搜索综述

本文综述了现有的方法，囊括了计算机领域中的神经体系结构搜索、自动化方法和深度学习等方面，内容包括常用的体系结构搜索空间和基于强化学习和进化算法的体系结构优化算法、模拟模型和单次模型。同时，文章对新的研究方向进行了探讨。

May, 2019

图神经网络中的神经结构搜索

本文比较了基于强化学习和进化算法的两种神经架构搜索方法来优化图神经网络，结果在包括 7 个数据集的两个搜索空间内显示出两种方法的准确性与随机搜索相似，引出了有多少搜索空间维度实际上与问题相关的问题。

Jul, 2020

1000 篇论文中的神经架构搜索 Insights

过去十年，深度学习的发展在计算机视觉、自然语言理解、语音识别和强化学习等多个领域取得了重大突破。神经架构搜索是自动化机器学习的必然发展方向，已经在很多任务上超过了最好的人类设计架构。本文概述不同的搜索空间、算法和加速技术，并介绍了基准、最佳实践、其他综述和开放源代码库。

Jan, 2023

高效架构搜索的层次化表示

本文介绍了一种基于层次遗传表征和复杂拓扑的新颖神经体系结构搜索方法，该方法能够高效地发现优于许多手动设计模型的分类器，同时该方法通过随机搜索得到了更高的准确度并将搜索时间缩短至 1 小时。

Nov, 2017

神经架构搜索中的深度主动学习

本文研究了主动学习深度神经网络，并提出了一种新的主动策略，该策略能够在学习过程中搜索有效的架构，同时使用三种已知的查询技术（softmax response，MC-dropout 和 coresets）进行应用，结果表明该方法在固定架构的主动学习方面表现出显著的优势。

Nov, 2018

使用以前未见的神经架构搜索数据集的洞察

神经网络、深度学习、神经架构搜索、数据集、NAS 挑战是研究论文的关键词，该论文介绍了为一系列 NAS 挑战创建的八个数据集，以及使用标准深度学习方法和挑战参与者的最佳结果进行的实验。

Apr, 2024

自监督图神经网络用于机械 CAD 检索

提出了一种基于图神经网络的自监督对比学习方法，用于机械 CAD 检索，可以直接建模参数化 CAD 原始文件，提高检索准确性和效率。

Jun, 2024

神经网络结构搜索的综合调查：挑战与解决方案

本文对神经网络结构自动设计的算法 —— 神经架构搜索进行了全面的综述与研究，提出了对早期算法的问题的总结和解决方案，并对这些工作进行了详细的比较和总结。文章最后给出了可能的未来研究方向。

Jun, 2020