NAS-OoD: 面向外分布泛化的神经架构搜索

ICCVSep, 2021

NAS-OoD: 面向外分布泛化的神经架构搜索

NAS-OoD: Neural Architecture Search for Out-of-Distribution Generalization

Haoyue Bai, Fengwei Zhou, Lanqing Hong, Nanyang Ye, S.-H. Gary Chan...

TL;DR本文提出了针对 Out-of-Distribution 通用性的 NAS（NN 架构搜索）算法，通过数据生成器进行程度上相对稳健的搜索，并通过对不同神经架构计算出的损失最大化合成 Out-of-Distribution 数据来使神经架构与数据生成器在端到端方式下共同优化，实现了对于不同分布的稳健性和精度优化。在各种 Out-of-Distribution 通用性基准测试和行业实际数据集上均取得了良好的性能。

Abstract

Recent advances on Out-of-Distribution (OoD) generalization reveal the robustness of deep learning models against distribution shifts. However, existing works focus on OoD algorithms, such as invariant risk minimization, domain generalization, or stable learning, without considering the influence of deep model architectures on OoD generalization, which may l

out-of-distribution generalization neural architecture search data generator gradient descent robust architectures

发现论文，激发创造

NADS: 基于神经体系结构分布搜索的不确定性感知

提出了神经结构分布搜索 (Neural Architecture Distribution Search，NADS) 的指导原则来设计确定性感知架构，优化了随机的 Out-of-Distribution 检测目标，并构建了模型集合来执行 OoD 检测，在 15 个不同的测试配置中相对于最先进的方法准确率的提高高达 57％。

Jun, 2020

G-NAS: 单域通用目标检测的可一般化神经结构搜索

我们提出了一种名为 G-NAS 的整体框架，利用可微分的神经结构搜索 (Differentiable NAS) 来解决单域泛化目标检测 (S-DGOD) 问题，通过引入 Generalizable loss (G-loss) 来防止过拟合，并在 S-DGOD 城市场景数据集上取得了 SOTA 表现。

Feb, 2024

FlatNAS：优化神经架构搜索中的平坦度，提升抗越界鲁棒性

该研究引入了一种名为 Flat Neural Architecture Search (FlatNAS) 的新型 NAS 解决方案，其探索了基于对权重扰动的鲁棒性和使用 Sharpness-Aware Minimization (SAM) 进行单个 NN 优化之间的相互作用。FlatNAS 是文献中首个系统性地探索 NN 损失景观中的平坦区域的 NAS 方法，并同时优化其在分布数据、OOD 鲁棒性和体系结构参数数量上的性能。与当前主要关注 OOD 算法的研究不同，FlatNAS 成功地评估了 NN 体系结构对 OOD 鲁棒性的影响，这在机器和深度学习的真实应用中是一个关键因素。FlatNAS 通过仅使用分布数据在 NAS 探索中达到了性能、OOD 泛化和参数数量之间的良好平衡。通过在文献中使用流行的基准数据集，评估了 NAS 设计的模型对输入数据破坏的鲁棒性。

Feb, 2024

学习可推广到分布外的模块化结构

本文提出一种针对机器学习系统中的 O.O.D. generalization 挑战的方法，通过训练鼓励模型仅保留在多个训练领域中被很好地重用的网络特征，结合两种互补的神经元级约束器和网络上的可微分二进制蒙版，提取模块化子网络以达到更好的 O.O.D. 性能。初步评估在两个基准数据集上证实了我们方法的优势。

Aug, 2022

探究图神经网络的超范围泛化：一种架构视角

对于图外分布问题（OOD），本研究从体系结构角度进行了全面调查，探讨了现代图神经网络的常见构建模块。通过广泛的实验，揭示了图的自注意机制和解耦体系结构对图 ODD 泛化的正面贡献，而线性分类层则会损害图 ODD 泛化能力。此外，我们基于这些发现开发了一种新的图神经网络模型 DGAT，它充分利用了图的自注意机制和解耦体系结构的稳健特性，并通过广泛的实验证明了我们模型在图 ODD 下的有效性，对各种训练策略都展现出了明显和一致的改进。

Feb, 2024

神经网络结构生成器优化

本文提出了一种将神经结构搜索 (NAS) 看作寻找最优网络生成器的问题，同时提出了一种新的、层次化和基于图形的搜索空间，实现了在极少连续超参数的情况下表示极大多样性的网络类型。通过贝叶斯优化作为搜索策略，该方法有效地扩展了有效架构的范围，促进了多目标学习方法的发展，并在六个基准数据集上进行了验证，在生成轻量级且高度竞争的模型方面表现出了有效性。

Apr, 2020

GeNAS: 具有更好泛化性能的神经架构搜索

本文探讨了一种新的神经架构搜索度量方式，发现损失曲面的平整度可以预测神经网络架构的泛化能力，通过在不同的搜索空间进行评估，提出的方法相对于现有的 NAS 方法表现更好，并且在数据分布偏移以及目标检测或语义分割等任务中具有稳健的泛化能力。

May, 2023

AutoOD: 通过好奇心引导搜索和自我模仿学习实现自动异常检测

本文提出一种自动离群点检测框架 AutoOD，采用基于好奇心的搜索策略和自我模仿学习的经验重播机制，在预定义的搜索空间内寻找最优神经网络模型，实验结果表明，与现有手工模型和传统搜索方法相比，AutoOD 找到的深度学习模型表现最佳。

Jun, 2020

领域自适应的网络架构搜索

本文介绍了一种名为神经架构搜索的领域自适应基本框架 (NASDA)，它利用可微分的神经架构搜索来获得领域适应任务的最佳网络架构，并具有神经架构搜索和多核最大平均差异配合的两种新的训练策略，通过实验证明 NASDA 在多个领域适应基准测试中表现出最先进的性能。

Aug, 2020

DrNAS: Dirichlet 神经架构搜索

该研究论文提出了一种新的可微分架构搜索方法，通过分布学习问题来加以实现，并将连续松弛的架构混合权重视为随机变量，以 Dirichlet 分布进行建模，通过路径导数优化 Dirichlet 参数，并采用渐进学习方案消除了不同 iable NAS 的大内存消耗，在 CIFAR-10、ImageNet 和 NAS-Bench-201 等几个数据集上取得了最先进的结果。

Jun, 2020