- 大型语言模型代理的超参数优化
利用大型语言模型（LLMs）进行自动超参数优化的 AgentHPO 具有较高效率、简化设置过程、增强可解释性和用户信任度，并在性能上超越了人类试验，同时提供可解释的结果。
- 具有不断增大系数幅值停止准则和元学习器的正则化提升优化叠加模型
本研究探讨了超参数优化中的堆叠集成元学习器，它无需超参数调整，能够减少多重共线性效应，并考虑了集成学习过程的泛化能力。其中，增强策略作为堆叠元学习器显示出很大的潜力，并且完全消除了多重共线性的影响。本文提出了经典增强方法中的隐式正则化和一种 - 利用大型语言模型进行超参数优化
使用大型语言模型（LLMs）在超参数优化（HPO）期间进行决策，在有限搜索预算的情况下，通过实证评估发现，LLMs 在标准基准测试上可以表现与传统 HPO 方法（如随机搜索和贝叶斯优化）相当甚至更好。此外，我们提出将定义模型的代码作为超参数 - 通过附加训练将特定科学知识教授给大型语言模型
通过额外的训练，我们探索将专门的科学知识嵌入到 Llama 2 Large Language Model（LLM）中。研究结果表明，有效的知识整合需要从多个角度阅读文本，尤其是在指导性格式下。我们利用文本增强来解决专业文本稀缺的问题，包括风 - 使用高性能计算和量子退火预测深度学习模型的超参数优化性能
利用模型性能预测与提前停止方法相结合，加速深度学习模型的超参数优化过程，通过 Swift-Hyperband 算法在高性能计算环境中测试，发现它在高能物理、计算机视觉和自然语言处理等领域的各种目标模型中找到相当好的超参数，且使用较少的计算资 - 在表格数据上对超参数优化引擎进行系统性研究
我们在 Ray Tune 库中对所有可用的超参数优化（hyperopt）引擎进行了独立比较。我们引入了两种方法来归一化和聚合数据集和模型之间的统计数据，一种是基于排名的方法，另一种是将分数夹在随机搜索分数和完整网格搜索分数之间。这使得我们能 - 机器学习算法的超参数空间
通过进行大规模的 1,500 个超参数与损失地形分析，研究揭示了机器学习模型中超参数和预测损失之间相互作用的关键要素，对多精度和迁移学习方法的成功提供了基础证据，并开发了专门的分析框架来促进对更广泛的 AutoML 任务的基本理解。
- 大容量元排序系统的自动机器学习
我们提出了一种基于采样的 AutoML 方法，主要关注神经结构搜索和超参数优化，用于解决在构建大规模容量模型时的元规模生产中的挑战。我们的方法通过使用轻量级基于预测器的搜索器和强化学习来探索广泛的搜索空间，显著减少了模型评估的数量，在 CT - HPO 对 AutoML 预测集成的影响
探索在深度学习模型中添加不同超参数优化策略的效果，发现该方法与组合学习可以优于商业 AutoML 预测解决方案，并提供更高的准确性和更低的集成延迟。
- TabRepo: 一个大规模的表格模型评估存储库及其 AutoML 应用
介绍了 TabRepo 数据集，包含了 1206 个模型在 200 个回归和分类数据集上的预测和评估指标。通过使用预计算的模型预测，可以在无需代价的情况下对超参数优化与当前 AutoML 系统的比较以及集成的效果进行分析。同时，展示了该数据 - 霍奇 - 符合边缘高斯过程
我们提出了基于原理的高斯过程（GPs）来建模在简单二维复合物的边集上定义的函数，一种类似于图形的结构，在其中边可以形成三角面。这种方法旨在用于学习在边流可以由离散的散度和旋度描述网络上的流动类型数据。
- 大规模高斯过程的交替投影
通过基于交替投影的迭代算法，我们提出了一种能够有效进行小批量处理的方法，在解决大规模高斯过程训练的实际挑战中，获得了线性收敛并具有良好的鲁棒性，实验证明在大规模基准数据集上，相比于共轭梯度方法，我们的方法加速了 2 倍到 27 倍。
- 多目标强化学习的超参数优化
对多目标强化学习中超参数优化的挑战进行了初步调查，并提出了一种系统性方法来解决这个问题，该方法能够显著提高多目标强化学习代理的性能，并鉴定了未来的研究机会。
- 人口下降：基于自然选择的超参数调优框架
我们提出了 Population Descent，这是一个专注于超参数优化的模因算法。通过自适应的 m 优秀个体选择方法和基于标准化适应度的随机化方案，我们展示了这种算法在常见的基准任务上比复杂的现有算法提高了最多 13% 的性能。
- 重力波的 hp-greedy 约简基超参数优化
通过贝叶斯优化对于引力波中降低基准、超参数优化的研究，该方法在同样准确度下具有较低的维度，达到参数估计加速的目的。
- 通过 NAS 实现更公平和更准确的表格模型
通过算法使表格数据的模型更公平一直以来都得到了广泛研究，但是技术一直偏向于修复不理想结果的神经模型，改变数据导入方式、模型权重或输出处理方式。本研究采用不同的策略，考虑更新模型的架构和训练超参数，从而在去偏执过程的开始找到具有更好结果的全新 - 量子核方法的超参数研究
量子核方法中的几何差异对模型性能和经典与量子核之间的泛化差距具有重要影响
- 优化超参数加强快速最小范数攻击
利用梯度攻击评估机器学习模型的对抗鲁棒性具有挑战性。本论文通过自动化选择损失函数、优化器、步幅调度器及相关超参数，以及超参数优化，展示了超参数优化如何改善快速最小范数攻击的有效性。我们通过多个鲁棒模型的广泛评估证明了超参数优化对快速最小范数 - FedHyper：面向超梯度下降联邦学习的通用稳健学习率调度器
FedHyper 是一种为联邦学习设计的基于超梯度的学习率自适应算法，能够在训练过程中自适应全局和局部学习率，具有出色的收敛速度和最终准确性，且相对于其他方法，在次优初始学习率设置下，能够提高 15% 的准确度。
- 自动 FP：针对表格数据的自动特征预处理的实验研究
通过分析 15 种算法在 45 个公开的机器学习数据集上的综合评估和分析，研究表明 Auto-FP 问题可以用超参数优化 (HPO) 或神经架构搜索 (NAS) 问题来建模，演化算法在平均排名上表现最好，随机搜索是一个强有力的基准线，许多基