本文演示了如何利用多智能体系统开发一个分布式技术，用于确定任意集合的超参数的近似最优值，并在机器学习和全局函数优化应用中进行了研究。研究表明，在更高的维度下，所提出的模型在分类误差和函数评估方面都优于其底层随机调优策略。

May, 2022

本论文提出了一种名为 PASHA 的方法来处理使用有限计算资源训练大数据集上的机器学习模型的挑战，该方法通过动态分配资源来调整模型，结果表明 PASHA 消耗的计算资源比 ASHA 少得多。

Jul, 2022

Tune 是一个机器学习模型选择和训练的统一框架，提供训练脚本和搜索算法之间的窄腰接口，适合于多种超参数搜索算法、可以方便地扩展到大型集群并简化算法实现。

Jul, 2018

该研究论文提出了一种全自动、协作的基于代理机制的方法，用于选择分布式组织的机器学习算法并同时调整其超参数，以实现扩展性、灵活性和鲁棒性。通过理论评估、形式验证和分析研究，证明了该技术的正确性、资源利用和计算效率。在对 24 种算法和 9 个数据集进行实验的基础上，提供了具体示例来展示所提出的方法在不同算法选项和数据集上的有效适应性和性能表现。

Sep, 2023

研究项目侧重于并行和分布式机器学习算法的开发，特别是优化数据处理和预训练一组包括 5 个编码解码器 LLM（从 5.8 亿到 130 亿个参数不等）。我们进行了一项细致的研究，以量化三种机器学习并行性方法之间的关系，特别是探索了微软 DeepSpeed Zero Redundancy Optimizer (ZeRO) 阶段。

Oct, 2023

本文综述了近年来在大规模优化问题中应用的异步优化方法的最新发展，旨在提高计算资源利用率和收敛速度，在处理信息延迟、节点延迟等问题时，尤其是在随机优化方法中，异步更新方式具有更为优越的性能。

Jun, 2020

本文提出了一种基于代理的协作技术，以找到任意一组超参数（或决策变量）的近似最优值，其设计了分布式搜索操作的分层代理架构，使用基于自适应宽度的随机采样技术进行合作搜索，并在机器学习和全局函数优化应用中，通过与两种常用随机调整策略的比较得出，该模型在多维度和设备资源有限的情况下优于其他方法。

Mar, 2023

本文提出了一种名为 “CARBS” 的贝叶斯优化算法，通过在性能成本 Pareto 前沿周围进行本地搜索，解决了大规模深度学习模型参数调优的难题，并自动化了调优的 “黑魔法”，可以适用于任何深度学习问题，并发现了发现各种超参数的标度律，使得调优更加高效。

Jun, 2023

通过基于方差的函数分析技术，在持续任务学习中探索了超参数选择的作用以及根据任务复杂度不断自动调整超参数的必要性，实证表明该方法可以持续地加快超参数优化速度并在不断变化的顺序任务中表现出鲁棒性，为现实应用中更高效、更稳健、更适应性强的持续学习方法做出了贡献。

Mar, 2024

该研究探讨了一种利用神经网络将模型的权重作为超参数的函数，实现对超参数和模型权重进行联合随机优化的方法，相较于传统的超参数优化方法，本方法在调整上千个超参数方面更加有效。

Feb, 2018