- 可扩展的深度学习嵌套优化
梯度下降优化在机器学习的成功中起到了关键作用，本研究论文聚焦于嵌套优化问题，特别是超参数优化和生成对抗网络；然而，在大规模求解嵌套问题时，经典方法往往表现不佳，因此我们针对深度学习环境构建了可扩展的嵌套优化工具。
- 优化超参数与检验点模型权重的改进
该论文提出了一种用于神经网络的超参数优化方法，使用已训练权重的记录检查点来引导未来的超参数选择，借助灰盒超参数优化方法，通过嵌入权重到高斯过程深度核代理模型来提高效率，并通过一个置换不变图元网络实现数据效率。
- 基于随机矩阵理论的多任务回归分析及其在时间序列预测中的应用
我们提出了一个新的理论框架，将随机矩阵理论应用于高维非高斯数据分布下，为多任务回归提供准确的性能估计；我们通过将多任务优化问题形式化为一种正则化技术来使单任务模型利用多任务学习信息，并在线性模型的背景下导出了多任务优化的闭式解；我们的分析通 - 利用 TPE 贝叶斯优化的门控循环神经网络提高股指预测准确性
利用深度学习架构，研究了股票价格预测中的门控循环神经网络、超参数优化和 TPE-LSTM 模型，结果显示 TPE-LSTM 模型在预测股票指数价格方面具有最低的 MAPE 误差。
- 成本敏感的多层次贝叶斯优化及学习曲线外推的迁移
本文研究了基于成本敏感的多保真贝叶斯优化算法用于高效的超参数优化问题，引入了用户预定义的效用函数来描述成本和性能之间的权衡，并提出了一种新的获取函数和停止准则以动态选择每个步骤的最佳配置，并最大程度地提高未来效用，同时自动终止优化过程，通过 - 重组重采样划分能够改善超参数优化的普适性
超参数优化中，通过重新划分训练和验证数据集可以提高模型的泛化性能并降低计算成本。
- 基于轨迹的多目标模型重训练超参数优化
本研究提出了一种基于轨迹的多目标贝叶斯优化算法，通过考虑训练轮次作为附加决策变量，充分利用迭代学习过程中的轨迹信息来提升多目标超参数优化问题的性能。实验证明，该算法在寻找更好的权衡和提高调优效率方面优于现有的多目标优化器。
- 多目标 AutoML 的超参数重要性分析
我们提出了第一种方法，用于评估多目标超参数优化背景下超参数的重要性。我们的方法利用基于代理模型的超参数重要性度量，即 fANOVA 和消融路径，以便提供关于超参数对优化目标的影响的见解。通过在不同目标与准确性相配对的广泛实证评估，即时间、人 - 上下文冷热贝叶斯优化：超参数优化
本文提出了一种名为 FT-PFN 的新型先验数据拟合网络，它利用了 transformer 在上下文学习方面的能力，以单次前向传播的方式高效可靠地进行贝叶斯学习曲线推断。经验证实，FT-PFN 的预测比之前工作中使用的深高斯过程和深度集成模 - IJCAI超参数优化在离策略学习中甚至可能是有害的及其应对方法
基于偏置记录数据准确估计反事实政策效果的评估在许多情况下不仅用于评估决策政策的价值，还用于搜索大候选空间中的最佳超参数。本研究探讨了离策略学习中的超参数优化任务，并提出了简单而高效的校正方法来解决相关问题。实证调查证明了我们提出的超参数优化 - 强化学习中的超参数优化的泛化基于人口的训练
通过引入更灵活、更具体的超参数适应框架 Generalized Population-Based Training 和综合性的 Pairwise Learning 策略，我们的方法在自适应性和计算效率方面显著优于传统的 Population - 提升深度学习性能的随机性技术研究
本研究调查了各种随机化技术对深度神经网络 (DNNs) 的影响，发现添加噪音和随机掩码梯度更新等随机化方法有助于减少过拟合和增强泛化能力。使用粒子群优化器 (PSO) 进行超参数优化，对 MNIST、FASHION-MNIST、CIFAR1 - 神经网络超参数优化中的提前弃用一轮高效方法
通过研究一些常用的丢弃技术，如 successive halving 和 learning curve extrapolation，我们发现这些技术与使用常数数量的轮次进行训练后的丢弃策略相比，几乎没有添加价值。我们称之为 i-Epoch - 朝着为可持续发展的深度学习效能化：在深度转换神经网络上采用多目标超参数优化方法
深度学习已经通过从大规模数据集中提取复杂模式推动了各个领域的发展。本研究关注于利用自动机器学习技术充分发挥深度位移神经网络的潜力，并通过超参数优化来提高性能并降低资源消耗，实现多目标优化和多保真度。实验结果表明，我们的方法有效，能够获得 8 - 对付时间与内存受限 GPU 服务下的长文本分类的简单转换器技巧
使用 18k 新闻文章，我们研究了基于 Tokenizer 输出长度推荐使用的预训练模型，并对缩短和丰富序列的一些技巧进行了比较。我们找到在使用较少的计算资源的情况下，去除停用词同时保留标点和低频词是最佳的技巧，并能够在保持相同信息的同时获 - 非光滑隐式微分：确定性和随机收敛速率
我们研究了参数化不可微收缩映射的不动点导数的高效计算问题，这个问题在机器学习中有广泛应用，包括超参数优化、元学习和数据污染攻击。我们分析了两种常见方法：迭代微分（ITD）和近似隐式微分（AID）。在非光滑环境下的一个关键挑战是链式法则不再成 - FeatAug: 从一对多关系表中自动进行特征增强
特征增强是机器学习模型开发中的一个关键问题，该论文提出了一种新的特征增强框架 FEATAUG，该框架可以从一对多关系表中自动提取谓词感知的 SQL 查询，并通过超参数优化和 Beam 搜索等技术提高算法性能。
- 低资源语言的变压器：Is Féidir Linn!
通过超参数优化，选择适当的参数并进行子词模型的正确选择，能够在英语 - 爱尔兰语低资源语言对的翻译中实现显著的性能提升，并改善了 Google 翻译的基准性能。
- 脉冲神经网络的并行超参数优化
通过检测静默网络并设计特定约束条件，我们能够实例化更大更灵活的搜索空间，从而加速 SNN 的搜索，并保持优化算法和最佳解决方案的良好性能。我们的方法还可以用于多目标问题，其中尽可能减少脉冲活动以降低能耗是常见的。在这种情况下，找到低脉冲和静 - FlexHB: 一个更高效和灵活的超参数优化框架
通过将 Bayesian Optimization 与 FlexHB 相结合，并重新设计 Successive Halving 的 early stopping 框架，提高了多信度 BO 搜索最优配置的效率，获得了超过其他方法的速度提升。