FairNAS: 重新思考共享权重神经架构搜索的评估公正性

ICCVJul, 2019

FairNAS: 重新思考共享权重神经架构搜索的评估公正性

FairNAS: Rethinking Evaluation Fairness of Weight Sharing Neural Architecture Search

Xiangxiang Chu, Bo Zhang, Ruijun Xu

TL;DR探究神经网络结构搜索中候选模型评估的公平性问题，提出预期公平和严格公平两种约束方法，其通过公平的训练方式得到的一次性神经网络与多目标进化搜索算法相结合，可以获得最先进的模型。其中 FairNAS-A 模型在 ImageNet 数据集上获得了 77.5% 的 top-1 验证准确率。

Abstract

One of the most critical problems in weight-sharing neural architecture search is the evaluation of candidate models within a predefined search space. In practice, a one-shot supernet is trained to serve as an evaluator. A faithful ranking certainly leads to more accurate searching results. However, current methods are prone to making misjudgments. In this p

neural architecture search supernet training fairness constraints evolutionary search algorithm state-of-the-art models

发现论文，激发创造

Supernet 如何帮助神经架构搜索？

该研究分析了五个搜索空间，研究发现权重共享在某些搜索空间中效果良好但在其他搜索空间中效果不佳，进一步揭示了这种现象的偏见因素和权重共享的能力。

Oct, 2020

通过候选增强和渐进式训练来改善超网的排名相关性

通过重新设计超网络的子网络，逐步添加窄分支以减少权重共享的程度并提高排名相关性，可以有效减轻不同候选网络之间的相互干扰，从而提高了神经结构搜索的自动化设计效率。该方法在 CVPR2021 轻量级 NAS 挑战赛超级网络赛道中获得了第一名。

Aug, 2021

少样本神经架构搜索

该研究提出了 few-shot NAS，利用多个超级网络（称为子超级网络）覆盖搜索空间的不同区域，以缓解操作之间的不良共适应，并证明其在多项任务中能够显著提高各种一次性方法的准确性，包括在 NasBench-201 和 NasBench1-shot-1 上的 3 个不同任务中的 4 个基于梯度的和 6 个基于搜索的方法，并在 ImageNet、CIFAR10 和 Auto-GAN 上取得最新水平。

Jun, 2020

GreedyNAS: 基于贪心超网络的快速一次性神经架构搜索

本文提出一种名为 GreedyNAS 的神经架构搜索方法，通过多路径抽样策略和候选路径池相结合的方法，将超网的负担减少至仅关注可能具有良好性能的路径，从而在 ImageNet 数据集中实现更好的 Top-1 准确率，且仅需大约 60％的超网训练成本。

Mar, 2020

深入探究神经架构搜索中的权重共享

本文探究权重共享对神经架构搜索的影响，发现权重共享导致模型表现差异显著，同时也可以从共享权重的超级神经网络中提取有价值的信息，并提出适度减少权重共享的方法来减少差异性并提高性能。

Jan, 2020

基于梯度匹配的 Few-Shot NAS 泛化

该研究提出了一种基于梯度匹配得分的 Few-Shot NAS 方法，通过对多个超网进行边级分区来减小权重共享带来的误差，极大地减少了搜索成本，并在各种数据集、搜索算法下展开的广泛实证评估表明，该方法在搜索效果方面有明显的提高。

Mar, 2022

如何训练超网络：基于权重共享的 NAS 训练启发式分析

通过系统评估常用的超网络训练启发式方法和超参数，发现其中一些启发式方法会对超网络和独立性能之间的相关性产生负面影响，并证明了某些超参数和体系结构选择的强烈影响。

Mar, 2020

通过 NAS 实现更公平和更准确的表格模型

通过算法使表格数据的模型更公平一直以来都得到了广泛研究，但是技术一直偏向于修复不理想结果的神经模型，改变数据导入方式、模型权重或输出处理方式。本研究采用不同的策略，考虑更新模型的架构和训练超参数，从而在去偏执过程的开始找到具有更好结果的全新模型。我们首次将多目标神经架构搜索（NAS）和超参数优化（HPO) 应用于表格数据的领域，对 MLP、ResNet 和 FT-Transformer 进行了广泛的架构和超参数空间探索，展示了模型预测的准确性和公平性指标在超参数组合上的依赖关系。我们发现，仅为了准确性而经过 NAS 优化的模型往往无法固有地解决公平性问题。我们提出了一种新颖的方法，通过同时优化架构和训练超参数，以准确性和公平性的多目标约束来解决问题。我们设计了能在公平性、准确性或两者方面优于目前最先进的偏执缓解方法的模型，并在单目标（准确性）优化运行过程中达到了帕累托最优。该研究强调了在深度学习模型中自动化公平性和准确性优化的潜力。

Oct, 2023

抑制后验衰减，提升一次性神经架构搜索

通过 Bayesian 分析，提出一种可实现后验均衡的神经网络架构搜索方法，该方法引入硬延迟约束，在满足标准 GPU 延迟约束的情况下，在 ImageNet 数据集上取得了最先进的性能，并在其他计算机视觉应用中实现了模型结构迁移。

Oct, 2019

Pi-NAS: 减少超级网络训练一致性偏移，提高神经结构搜索效率

Pi-NAS 是一种非平凡的超网 - Pi 模型，利用跨路径学习减少不同路径之间特征的一致性移位并采用新颖的平均教师包含负样本克服参数移位和模型冲突，在不监督的情况下搜索可转移架构，并在 ImageNet 和一系列下游任务上展示了其相对于受监督的 NAS 的有效性和普适性。

Aug, 2021