May, 2021

多目标联合神经网络架构搜索和超参数优化的基线包

PDF
TL;DR本文介绍了一种同时进行神经结构搜索和超参数优化的多目标优化方法，以在训练深度学习模型时提高其性能和效率。
neural architecture searchhyperparameter optimizationmulti-objective optimizationdeep learningtraining pipeline
发现论文，激发创造
  • 走向自动化深度学习：高效联合神经网络架构与超参数搜索

    本文提出了一种基于贝叶斯优化和 Hyperband 的联合神经架构和超参数搜索方法，旨在提高搜索效率和处理神经架构和超参数之间相互作用的问题。

    Jul, 2018

  • 多目标可微分神经架构搜索

    我们提出了一种新的神经架构搜索算法，通过超网络对设备和多个目标进行参数化和条件化，实现了性能和硬件度量之间的权衡，并在一次搜索中获得多设备上的具有代表性和多样性的架构。在高达 19 个硬件设备和 3 个目标的大量实验证明了方法的有效性和可扩展性。最后，我们证明在不增加额外成本的情况下，我们的方法在不同搜索空间和数据集上优于现有的多目标优化神经架构搜索方法，包括 ImageNet-1k 上的 MobileNetV3 和机器翻译中的 Transformer 空间。

    Feb, 2024

  • PASHA：使用渐进式资源分配的高效 HPO 和 NAS

    本论文提出了一种名为 PASHA 的方法来处理使用有限计算资源训练大数据集上的机器学习模型的挑战，该方法通过动态分配资源来调整模型，结果表明 PASHA 消耗的计算资源比 ASHA 少得多。

    Jul, 2022

  • 联合结构和超参数优化的表格基准测试

    为了更好地评估超参数优化方法，本文提供了一组便宜但仍然代表现实用例的基准测试，并在基准测试上对超参数优化方法进行了广泛的性能和鲁棒性比较。

    May, 2019

  • 多目标神经架构搜索调查

    该研究论文总结了多目标神经架构搜索（MONAS）领域的重要工作，并讨论了神经架构搜索的分类方法、目标函数及其随机性对多目标优化过程的影响，并提出了未来研究的方向。

    Jul, 2023

  • 多目标硬件感知神经架构搜索利用硬件成本多样性

    提出了一种名为 MO-HDNAS 的多目标方法，通过优化三个目标（最大化表示相似度度量、最小化硬件成本和最大化硬件成本的多样性）在单次运行中以低计算成本的方式，识别出一组权衡的架构，有效地解决了适用于图像分类任务的硬件感知神经架构搜索问题。

    Apr, 2024

  • 一种用于重复 HPO 和 NAS 问题的资源有效方法

    本文介绍了一种通过使用 Successive Halving，结合上一次搜索中获得的信息，从而减少计算成本、保持准确度和对负迁移具有鲁棒性的超参数和神经网络结构的重复搜索策略，提出了新的迁移学习基线，显著简化了现有的迁移学习方法。

    Mar, 2021

  • 通过 NAS 实现更公平和更准确的表格模型

    通过算法使表格数据的模型更公平一直以来都得到了广泛研究，但是技术一直偏向于修复不理想结果的神经模型，改变数据导入方式、模型权重或输出处理方式。本研究采用不同的策略，考虑更新模型的架构和训练超参数，从而在去偏执过程的开始找到具有更好结果的全新模型。我们首次将多目标神经架构搜索（NAS）和超参数优化（HPO) 应用于表格数据的领域，对 MLP、ResNet 和 FT-Transformer 进行了广泛的架构和超参数空间探索，展示了模型预测的准确性和公平性指标在超参数组合上的依赖关系。我们发现，仅为了准确性而经过 NAS 优化的模型往往无法固有地解决公平性问题。我们提出了一种新颖的方法，通过同时优化架构和训练超参数，以准确性和公平性的多目标约束来解决问题。我们设计了能在公平性、准确性或两者方面优于目前最先进的偏执缓解方法的模型，并在单目标（准确性）优化运行过程中达到了帕累托最优。该研究强调了在深度学习模型中自动化公平性和准确性优化的潜力。

    Oct, 2023

  • 硬件感知神经架构搜索的综合调查

    该论文综述了当前关于硬件感知神经架构搜索的研究，包括搜索空间，搜索策略，加速技术和硬件成本估计策略。研究者采用多目标优化算法来解决神经架构复杂，导致在 IoT，移动和嵌入式系统等资源受限的平台上部署困难的问题，并讨论了相关算法及策略的挑战和局限性，同时为未来的研究提供参考，这是首篇针对硬件感知神经架构搜索的论文综述。

    Jan, 2021

  • 面向 Pareto - 最优设备感知神经网络架构的搜索

    本文介绍了神经架构搜索的问题，并调研了最近的研究成果。然后，我们深入探讨了两项对 NAS 进行多目标框架扩展的最新进展：MONAS 和 DPP-Net。MONAS 和 DPP-Net 都能够优化精度和设备带入的其他目标，寻找可以在广泛设备上最好部署的神经架构。实验结果显示，MONAS 和 DPP-Net 找到的架构在各种设备上均达到了 Pareto 最优性。

    Aug, 2018