处理不平衡数据的高效基于 NAS 的方法

Jun, 2024

处理不平衡数据的高效基于 NAS 的方法

An Efficient NAS-based Approach for Handling Imbalanced Datasets

Zhiwei Yao

TL;DR利用神经架构搜索（NAS）来增强对长尾数据集的性能的一种新方法被介绍在此论文中，通过 IMB-NAS 的现有工作提出了一种有效地调整 NAS 超级网络以适应不平衡目标数据集的方法。该论文详细描述了 IMB-NAS 的基本技术，其中包括 NAS 和架构转移，并发现重新训练线性分类头部并保持基于平衡源数据集训练的 NAS 超级网络冻结的最有效方法是采用重新加权损失。最后，我们对不平衡的 CIFAR 数据集进行了一系列实验来评估性能，结论与 IMB-NAS 论文中的结论一致。

Abstract

class imbalance is a common issue in real-world data distributions, negatively impacting the training of accurate classifiers. Traditional approaches to mitigate this problem fall into three main categories: class re-balancing, information transfer, and representation learning. This pa

class imbalance neural architecture search long-tailed datasets imb-nas reweighted loss

发现论文，激发创造

自监督神经架构搜索用于不平衡数据集

该文提出了一种基于自监督神经结构搜索技术的框架，用于处理非平衡数据集的情况，每个组件都能在资源受限的设备上（如单个 GPU）运行，实验结果表明该方法在 CIFAR-10 数据集上的性能比标准神经网络更佳，同时使用的参数少 27 倍。

Sep, 2021

可扩展图像识别的可传递架构学习

本文提出了一种在小数据集上搜索神经网络模型结构并将其转移至大数据集的方法，称为 NASNet，通过设计新的搜索空间并使用调度 DropPath 技术提高了模型在 ImageNet 等数据集上的分类正确率。

Jul, 2017

BigNAS：利用大型单级模型扩展神经架构搜索

本文提出一种新方法 BigNAS，使用单个共享权重集合无需进行额外的训练或后处理步骤，就可以用于神经结构搜索，该方法的预测准确率优于现有方法。

Mar, 2020

用于内存计算的多目标神经架构搜索

我们使用神经架构搜索（NAS）方法，通过贝叶斯优化构建卷积神经网络（CNN）模型，以灵活适配的深度增强内存计算（IMC）架构上的多样机器学习（ML）任务的效率。通过在超过 6.4 亿网络配置的庞大搜索空间中探索贝叶斯搜索算法，我们验证了我们的 NAS 方法在 IMC 架构部署中取得高准确性、低延迟和能量消耗的平衡解的有效性，涵盖了三个不同的图像分类数据集。

Jun, 2024

针对长尾数据集的神经架构搜索的异构学习率调度

本文旨在解决将神经架构搜索（NAS）算法，特别是可微架构搜索（DARTS），应用于类别分布高度不平衡的长尾数据集的挑战。我们观察到，传统的重新采样和重新加权技术，在与 DARTS 结合时会导致性能下降。为了缓解这一问题，我们提出了一种新颖的自适应学习率调度策略，针对与双边分支网络（BBN）相结合处理不平衡数据集的 DARTS 架构参数。我们的方法根据训练时期动态调整架构参数的学习率，以防止在训练的后期阶段破坏良好训练的表示。此外，我们还探讨了分支混合因子对算法性能的影响。通过在人工引发的长尾分布的 CIFAR-10 数据集上进行大量实验证明，我们的方法的准确率与仅使用 DARTS 相当。实验结果表明，重新采样方法本质上会损害 DARTS 算法的性能。我们的研究结果强调了在应用 DNAS 于不平衡学习场景中进行数据增强的重要性。

Jun, 2024

神经架构迁移

本文介绍了一种基于神经架构搜索（NAS）的新方法，称为神经架构传递（NAT），该方法可将已训练的超网络集成到在线迁移学习和多目标进化搜索流程中，以快速生成适用于多个应用场景的任务特定定制模型，并在 11 项基准图像分类任务中证明了其有效性。

May, 2020

通过集成学习提高神经架构搜索图像分类器的性能

本文提出了 AdaNAS 算法，利用集成技术将神经网络组合成一组小型神经网络集合，并采用基于知识蒸馏的新技术，迭代地训练小型神经网络，取得了 CIFAR-10 数据集中可比较的结果和 CIFAR-100 数据集中的最佳结果。

Mar, 2019

公平可微分神经网络架构搜索与自监督学习的长尾数据

近期人工智能的进展将深度学习作为计算机视觉、数据挖掘和自然语言处理等领域的关键技术。本文探讨了提高 NAS 在长尾数据集上搜索和训练性能的方法，特别关注了 SSF-NAS 这一现有方法，通过集成自监督学习和公平可微分 NAS，在长尾数据集上取得更好的性能。

Jun, 2024

Pi-NAS: 减少超级网络训练一致性偏移，提高神经结构搜索效率

Pi-NAS 是一种非平凡的超网 - Pi 模型，利用跨路径学习减少不同路径之间特征的一致性移位并采用新颖的平均教师包含负样本克服参数移位和模型冲突，在不监督的情况下搜索可转移架构，并在 ImageNet 和一系列下游任务上展示了其相对于受监督的 NAS 的有效性和普适性。

Aug, 2021

DNA Family：使用区块级别监督增强权重共享的 NAS

通过将大的搜索空间模块化为小的搜索空间，并利用 DNA 技术开发了一系列模型，我们解决了 weight-sharing NAS 中的多个困境，如可扩展性、效率和多模态兼容性，并在一定计算复杂度约束下寻求不同深度和宽度的架构。广泛的实验评估表明，我们的模型分别在移动卷积网络和小型视觉变换器上实现了 78.9％和 83.6％的 ImageNet 最高准确率。

Mar, 2024