AutoML 中用于序列超参数空间缩减的元级学习算法
介绍了一种修改后的 LAB 算法，该算法建立在原始 LAB 算法的基础上，通过引入轮盘赌方法和缩减系数，引入了群体间竞争并逐步缩小样本空间。该算法通过解决 CEC 2005 和 CEC 2017 的基准测试问题来验证，并使用双边和成对符号秩 Wilcoxon 检验以及 Friedman 秩检验对解决方案进行验证。该算法表现出更强的稳健性和搜索空间探索能力。此外，还提出了一种基于聚类的搜索空间缩减方法，使该算法能够解决约束问题。这种方法能够识别满足约束条件并有助于实现最优解的可行区域聚类，展示了作为传统约束处理技术潜在替代方案的有效性。最后，将使用修改后的 LAB 算法所获得的结果与其他最新的元启发式算法进行比较。
Oct, 2023
本文演示了如何利用多智能体系统开发一个分布式技术，用于确定任意集合的超参数的近似最优值，并在机器学习和全局函数优化应用中进行了研究。研究表明，在更高的维度下，所提出的模型在分类误差和函数评估方面都优于其底层随机调优策略。
May, 2022
本研究提出了一个有效且强健的自动调参框架，用于在大型数据集和任意性能指标下进行降维算法的超参数选择，利用贝叶斯优化和代理模型，该方法使得超参数选择具有多目标权衡的效率，并允许我们进行数据驱动的敏感性分析。通过添加归一化和子采样，该框架表现出了多样性和高效性，并在 t-SNE 和 UMAP 等可视化技术应用中进行了评估。我们利用多种质量指标在各种合成和实际数据集上评估了我们的结果，从而为降维算法中的超参数选择提供了一个强健而高效的解决方案
Jun, 2023
该研究论文提出了一种全自动、协作的基于代理机制的方法，用于选择分布式组织的机器学习算法并同时调整其超参数，以实现扩展性、灵活性和鲁棒性。通过理论评估、形式验证和分析研究，证明了该技术的正确性、资源利用和计算效率。在对 24 种算法和 9 个数据集进行实验的基础上，提供了具体示例来展示所提出的方法在不同算法选项和数据集上的有效适应性和性能表现。
Sep, 2023
介绍了一种名为 HS 的 post-hoc 算法，适用于修正树结构中的 overfitting 问题，并通过将预测结果缩小至先辈节点的样本平均值来实现树的正则化。
Feb, 2022
参数推断是生物物理系统动力模型中一个具有挑战性的问题，本文提出了一种新的元启发式方法 DR-FFIT，通过特征信息转换来进行降维，以解决在高维空间中的参数搜索困境。
Sep, 2023
本文提出了一种基于代理的协作技术，以找到任意一组超参数（或决策变量）的近似最优值，其设计了分布式搜索操作的分层代理架构，使用基于自适应宽度的随机采样技术进行合作搜索，并在机器学习和全局函数优化应用中，通过与两种常用随机调整策略的比较得出，该模型在多维度和设备资源有限的情况下优于其他方法。
Mar, 2023
本论文将超参数优化问题建模为一系列决策问题，并用强化学习方法来解决，通过优化选择下一个待优化的超参数，从而提高模型性能。在 50 个数据集上的实验表明，该方法优于目前超参数学习领域的其他方法。
Jun, 2019
本文提出了一种元学习方法，利用先前的元数据自动搜索高性能的机器学习管道以完成模型选择和超参数优化，该方法结合自适应贝叶斯回归模型、神经网络基函数和贝叶斯优化的收获函数，能够在监督分类数据集上高效地搜索预定义的候选管道，实验结果表明，该方法在一系列测试数据集上能够快速确定高性能的机器学习管道，并胜过基线方法。
Apr, 2019