通过演化算法和梯度下降方法，本研究提出了四种算法来寻找人工神经网络结构，用于行为（黑箱）建模特定的动态过程。在研究中，采用了经过优化选择的循环型人工神经网络，优化的目标是在学习的数学模型响应下，平衡神经网络的规模和准确性。并通过数学模型验证研究中提出的演化算子的有效性。

Sep, 2023

本研究提出了一个新的神经架构搜索框架，它基于一个使用形态操作的爬山过程并采用新的梯度更新方法。该技术可以在更广泛的搜索空间中搜索，从而产生竞争优势，其在单个 GPU 训练的 19.4 小时内在 CIFAR-10 数据集上实现了 4.96％的错误率。

Feb, 2021

本文提出了一个新的框架来得出能够自动、无需超参数训练全连接和卷积神经网络的一阶优化器：自动梯度下降。该理论为下一代结构相关的优化器提供了严谨的理论基础。

Apr, 2023

本文提出了一种基于深度神经网络的自动化设计架构的新框架，该框架使用强化学习代理作为元控制器，通过功能保持变换在当前网络的基础上，尝试增加网络深度或层宽。在 CIFAR-10 和 SVHN 基准数据集上的测试表明，该方法在受限的计算资源下可以设计出具有高竞争力的网络，并在不使用跨层连接的条件下实现了 4.23％的测试误差率。

Jul, 2017

本文介绍一种名为 LEAF 的进化型 AutoML 框架，不仅优化超参数，而且还优化网络架构和大小，实验结果表明优化网络架构比优化超参数显著提高了性能，并且可以在保持性能的情况下最小化网络。LEAF 因此为普及和改进 AI，以及使 AI 在未来的应用中变得实用提供了基础。

Feb, 2019

本研究提出了一种新的自动化机器学习（AutoML）框架，通过演化图神经网络（GNN）模型来寻找最合适的结构和学习参数，并在半监督和归纳式节点表示学习和分类任务上展示它的性能。

Sep, 2020

本文比较了基于强化学习和进化算法的两种神经架构搜索方法来优化图神经网络，结果在包括 7 个数据集的两个搜索空间内显示出两种方法的准确性与随机搜索相似，引出了有多少搜索空间维度实际上与问题相关的问题。

Jul, 2020

本文旨在实现深度神经网络硬件实现的超高能效和性能，提出一种面向不同类型、大小和应用场景的 DNN 算法 - 硬件协同优化框架，并在硬件部分采用高效的 FPGA 实现，实验表明与 IBM TrueNorth 处理器和参考的 FPGA 实现相比，该框架至少实现了 152 倍的加速和 71 倍的能效增益。

Feb, 2018

该研究提出了一种新方法，即利用少量的突变规则来动态演化循环神经网络的结构，其结果表明，这种方法可以在大多数情况下匹配或超过梯度下降方法的性能，同时使用数量级更少的参数，该方法有望在对网络紧凑性和自主设计至关重要的实际应用方面开辟新的途径。

Apr, 2023

本文中提出了一种基于箱限制数学优化问题的方法，运用光滑径向基函数模型及无导数优化工具去寻找神经网络的最佳参数。该方法是自动的且可有效地搜索参数空间，其应用于药物相互作用的预测中具有良好的效果，并且所用的优化工具是开源的。

May, 2017