ICLRJul, 2022

PASHA：使用渐进式资源分配的高效 HPO 和 NAS

PDF
TL;DR本论文提出了一种名为 PASHA 的方法来处理使用有限计算资源训练大数据集上的机器学习模型的挑战，该方法通过动态分配资源来调整模型，结果表明 PASHA 消耗的计算资源比 ASHA 少得多。
hyperparameter optimizationneural architecture searchmachine learning modelspashacomputationally efficient
发现论文，激发创造
  • 一种用于重复 HPO 和 NAS 问题的资源有效方法

    本文介绍了一种通过使用 Successive Halving，结合上一次搜索中获得的信息，从而减少计算成本、保持准确度和对负迁移具有鲁棒性的超参数和神经网络结构的重复搜索策略，提出了新的迁移学习基线，显著简化了现有的迁移学习方法。

    Mar, 2021

  • NASH：硬件优化机器学习模型的神经架构搜索

    机器学习算法在不断增加的应用中需要在高准确性、高吞吐量和低延迟之间实现更好的权衡。本论文介绍了一种名为 NASH 的新方法，将神经架构搜索应用于机器学习硬件中。通过使用 NASH，硬件设计可以同时达到更高的吞吐量、低延迟和更好的准确性性能。该论文介绍了 NASH 策略的四个版本，所有版本均显示出比原始模型更高的准确性。实验结果表明，在 ImageNet 数据集上，将 NASH 应用于 ResNet18 或 ResNet34 可以使 Top-1 准确性增加最多 3.1%，Top-5 准确性增加最多 2.2%。我们还将这种方法集成到 FINN 硬件模型合成工具中，以自动应用我们的方法和生成硬件模型。结果表明，使用 FINN 可以实现最大达到 324.5 帧每秒的吞吐量。此外，NASH 模型还可以在准确性和硬件资源利用率之间取得更好的权衡。准确性 - 硬件（HW）帕累托曲线显示，四个 NASH 版本的模型代表了在给定硬件利用率的情况下达到最高准确性的最佳权衡。我们的实现代码是开源的，可以在 GitHub 的链接处获得。

    Mar, 2024

  • 大规模并行超参数调优系统

    通过对 ASHA 方法的应用，我们在分布式设置中开发了成熟的超参数优化功能，可以实现大规模超参数优化问题，更具线性可扩展性，并适合用于大规模并行处理

    Oct, 2018

  • 多目标联合神经网络架构搜索和超参数优化的基线包

    本文介绍了一种同时进行神经结构搜索和超参数优化的多目标优化方法，以在训练深度学习模型时提高其性能和效率。

    May, 2021

  • POPNASv3: 一种用于图像和时间序列分类的 Pareto-Optimal 神经架构搜索解决方案

    本文介绍了 Pareto-Optimal Progressive Neural Architecture Search (POPNASv3) 的第三个版本，这是一个新的顺序模型优化 NAS 算法，旨在针对不同的硬件环境和多个分类任务。我们的方法能够在大型搜索空间中找到具有竞争力的结构，同时保持灵活的结构和数据处理管道以适应不同的任务。

    Dec, 2022

  • POPNASv2: 高效的多目标神经结构搜索技术

    本文介绍了 Pareto-Optimal Progressive Neural Architecture Search (POPNASv2) 方法，该方法在原有的基础上进行了改进，通过加入新操作符、改进预测模型、引入细胞等价检查机制以及自适应贪心探索策略等方法，实现了 PNAS 相似的性能，同时平均搜索时间快了 4 倍。

    Oct, 2022

  • 通过 NAS 实现更公平和更准确的表格模型

    通过算法使表格数据的模型更公平一直以来都得到了广泛研究，但是技术一直偏向于修复不理想结果的神经模型，改变数据导入方式、模型权重或输出处理方式。本研究采用不同的策略，考虑更新模型的架构和训练超参数，从而在去偏执过程的开始找到具有更好结果的全新模型。我们首次将多目标神经架构搜索（NAS）和超参数优化（HPO) 应用于表格数据的领域，对 MLP、ResNet 和 FT-Transformer 进行了广泛的架构和超参数空间探索，展示了模型预测的准确性和公平性指标在超参数组合上的依赖关系。我们发现，仅为了准确性而经过 NAS 优化的模型往往无法固有地解决公平性问题。我们提出了一种新颖的方法，通过同时优化架构和训练超参数，以准确性和公平性的多目标约束来解决问题。我们设计了能在公平性、准确性或两者方面优于目前最先进的偏执缓解方法的模型，并在单目标（准确性）优化运行过程中达到了帕累托最优。该研究强调了在深度学习模型中自动化公平性和准确性优化的潜力。

    Oct, 2023

  • 走向自动化深度学习：高效联合神经网络架构与超参数搜索

    本文提出了一种基于贝叶斯优化和 Hyperband 的联合神经架构和超参数搜索方法，旨在提高搜索效率和处理神经架构和超参数之间相互作用的问题。

    Jul, 2018

  • 基于隐私保护的神经架构搜索

    使用安全多方计算方法构建隐私保护的神经架构搜索框架，其中使用重新设计的 ReLU 和 Max-pooling 保混乱电路以及对秘密共享的 Softmax 函数的新替代方法，分析和实验表明其在安全性，效率和准确性方面具有优越性。

    Apr, 2022

  • 可传递的神经过程用于超参数优化

    本文提出一种基于迁移学习的自动超参数优化算法：Transfer Neural Processes (TNP)，将历史优化实验的知识转移应用到当前优化任务中，该算法在广泛的 OpenML 数据集和三个计算机视觉数据集上实现了前沿性能。

    Sep, 2019