本文介绍了一个关于神经网络权重的实证研究。通过采样多种不同神经网络分类器的训练变化，使用机器学习方法从权重空间中提取和分析信息，特别地构建了一些新型的深度元分类器，用于检测通过超参识别并在优化过程中编码为权重的模式，从而提供了一种新颖和互补的可解释 AI 视角，并释放了一个神经权重空间（NWS）数据集，以促进进一步研究。

Feb, 2020

通过构建具有功能等效性的网络的路径连接集合，将神经网络的权重空间视为弯曲的黎曼流形并沿着功能不变路径将网络移动，同时寻找满足次要目标的网络，通过路径抽样算法，能够训练具有数百万权重参数的神经网络来学习一系列分类任务而不会损失性能，同时适应包括网络稀疏化，增量任务学习和增加对抗强度在内的次要目标。

Apr, 2022

本文提出一种编码通用计算图上的搜索空间的正式语言，解决了目前基于深度学习架构搜索的特定应用和通用超参数优化系统之间的折衷问题。该语言的结构使我们能够编写模块化、可组合和可重用的搜索空间，并在不同搜索空间和优化算法的组合中自由实验，而不必从头实现每个组合。我们在文中公开了该语言的实现。

Sep, 2019

本文通过一次性的方法在神经网络中学习高准确度的线、曲线、和单纯形来寻找各种应对方法，达到了独立训练网络套索并在训练成本上类似的计算成本，增加了分类器的鲁棒性和准确性。

Feb, 2021

分析神经网络的深度权重空间（Deep Weight Spaces，DWS）中的过拟合问题，针对该问题提出数据增强和自监督对比学习方法，并在分类和自监督学习中证明了其有效性。

Feb, 2024

通过维护一个优化的搜索空间子集的神经搜索空间演化（NSE）方案，引入可学习的多分支设置，实现了神经架构设计的自动化和优化，以在 ImageNet 上实现优异的表现和响应延迟限制。

Nov, 2020

在这篇论文中，我们提出了一种新颖的基于细胞的分层搜索空间，易于理解和操作，旨在优化搜索时间并且足够通用，可以处理大多数卷积神经网络的最先进架构。

Oct, 2023

通过研究数据增强技术，以解决在权重空间进行学习时所面临的过拟合问题，本文提出了一种基于混合方法的新的增强方案。评估了这些技术在现有基准以及新生成的基准上的性能，为未来的研究提供了有价值的参考。

Nov, 2023

本研究关注于神经网络的权重空间和损失景观，发现细调模型在权重空间中占有良定义区域，通过在模型之间遍历这些区域找到的新模型能够具有与通过细调得到的模型相当甚至更好的性能表现，此研究的结论为高效细调提供了理论依据。

Feb, 2023

本文提出一种可自动设计、训练深度神经网络的框架，通过自动配置架构和超参数进行模型搜索，实现了对复杂搜索空间的高效探索，并展示了随机搜索、蒙特卡罗树搜索和顺序模型优化等多种模型搜索算法在 CIFAR-10 数据集上的比较试验结果。

Apr, 2017