对黑盒优化问题的领域特征进行研究，探索性景观分析（ELA）模型成功地识别了预定义的人造特征，并为解决这些挑战的组合选择器提供了帮助。本研究提出了利用图像识别方法解决这个问题的方法，并在大型数据集上应用基本的人工神经网络模型进行分类，成功实现了机器驱动的特征提取。

Jun, 2022

DoE2Vec 是一种基于变分自动编码器（VAE）的方法，用于学习设计实验（DoE）的优化景观特征，不需要任何功能工程，可适用于高维搜索空间，并可显着提高分类任务的性能。

Mar, 2023

这篇研究论文讨论了如何通过强化学习来自动化特征转换，以解决维度灾难、数据稀疏性和模型泛化等问题，并提出了一种集成图形表示和增强学习技术的自优化框架来改进其效果和通用性。

Jun, 2023

该文章提出了一种新的深度学习目标公式，在小训练集合的情况下能够使得其学习到的深层网络具有较好的泛化能力，同时介绍了一种基于几何感知的深度转换技术，从而实现了非线性、具有鲁棒性的特征转换，该方法在合成和真实数据方面表现良好，并支持所提出的框架使用 (K,ε)- 鲁棒性分析。

Sep, 2015

我们提出了一种非凸优化算法元启发式方法，基于深度生成网络的训练，能在连续、超高维度的空间中实现有效搜索。通过网络训练，利用采样的局部梯度种群在定制的损失函数内，将网络输出分布函数演化朝向高性能最优点的一个峰值。深度网络架构根据训练过程进行渐进增长，使得该算法能够处理高维空间的维度困境。我们将这一概念应用于一系列标准优化问题，维度高达一千，证明我们的方法在较少函数评估下表现更好，超过了现有算法基准。我们还讨论了深度网络超参数化、损失函数设计和适当网络架构选择在优化中的作用，以及采样的局部梯度所需的批量大小与问题维度无关。这些概念为一类利用可自定义和表达性强的深度生成网络来解决非凸优化问题的算法奠定了基础。

Jul, 2023

本文分别进行计算分析和探索性分析，利用 GKLS 生成的问题类别对三种最先进的优化方法进行基准测试，结果表明 GKLS 生成了 “大海捞针” 类问题，随着维度的增加，这些问题变得极其难以优化。此外，还与其他两个广泛使用的基准测试集的 ELA 进行比较，并讨论结果的意义。

Apr, 2023

通过进行大规模的 1,500 个超参数与损失地形分析，研究揭示了机器学习模型中超参数和预测损失之间相互作用的关键要素，对多精度和迁移学习方法的成功提供了基础证据，并开发了专门的分析框架来促进对更广泛的 AutoML 任务的基本理解。

Nov, 2023

通过引入适应真实场景需求的新方法，我们综合评估了一个广泛的数据集和场景，发现其在实践中始终优于现有技术，同时作为更高效的替代方案。

Dec, 2023

Efficient pretraining paradigms and growing strategies for Transformer-based models are studied, focusing on early training dynamics and an adaptive strategy for gradual stacking.

Jun, 2024

利用大型语言模型进行算法进化，能够自动生成优化算法，减少人工专家和领域知识的需求，在解决推销员旅行问题方面表现优异，具有出色的可伸缩性，与先前的利用语言模型作为搜索操作符的尝试大不相同。

Nov, 2023