本文介绍一种使用梯度下降算法训练的专家系统，将神经网络的学习能力与专家系统的可理解性和可防御的逻辑相结合。该系统能够从数据中学习模式，并在决策水平上表现出与神经网络系统相媲美的水平，同时提出了一种用于克服该方法局限性的技术。实验结果表明，该技术的效果非常显著，多种类型的网络在多种操作条件下均得到了评估。所提出的技术在实践中具有广泛的应用前景。

Jul, 2022

本文提出了一种基于专家模型混合的全可分的架构，实现了在生产环境中学习在线的高性能分类器，适用于各种领域，具有比参考方法更好的性能。

Jul, 2023

本文介绍了一种基于可微分的连续松弛方法来应对体系结构搜索的可扩展性挑战，该方法可在 CIFAR-10、ImageNet、Penn Treebank 和 WikiText-2 等数据集中快速搜索高性能的卷积体系结构和循环体系结构。

Jun, 2018

通过结合经典人工智能技术 —— 专家系统与现代适应性梯度下降训练的专家系统（GDTES），利用生成式人工智能（GAI）创建网络和训练数据集的机制，本研究提出了一种人工智能的学习和发展推理路径以在先验未知领域做决策的方法，并展示了朝着产生人工通用智能（AGI）的目标迈出的小步骤。

Jun, 2024

提出了一种基于端到端训练的神经网络的方法，该方法通过将黑盒函数的功能与可微分的神经网络进行逼近，以驱动神经网络遵守黑盒函数接口。在推理时，将不可微分的外部黑盒替换为其可微分的估计器，通过此方法，可以在无需中间标签的情况下，训练一个神经网络，从而计算黑盒功能的输入，并且这种综合模型比完全可微分的模型泛化效果更好，并且相对于基于强化学习的方法学习效率更高。

Jan, 2019

通过梯度自由优化实现政策体系结构搜索和适应，可以学习执行自主驾驶任务。通过从演示和环境奖励中学习，开发了一个模型，可以学习相对较少的早期灾难性失败，并学习适当复杂度的体系结构，调整源领域中演示的政策以适应目标环境中获得的奖励，在逼真的模拟环境中学习驾驶，以提供比基线方法更安全的学习，降低累计崩溃指标。

Oct, 2017

实现并评估了一种基于强化学习的自动化网络防御代理程序，该代理以安全警报作为输入并使用强化学习学习执行预定义的防御措施的策略，使用攻击图模拟网络攻击的环境中，被攻击者执行保护任务。该方法通过使用不同大小的攻击图、攻击者攻击策略和不同的检测系统噪声来进行评估。实验表明，通过强化学习训练的防御代理程序的性能优于使用启发式策略的代理程序，并能够概括不同的攻击者策略。

Apr, 2023

本文提出了一个新的框架来得出能够自动、无需超参数训练全连接和卷积神经网络的一阶优化器：自动梯度下降。该理论为下一代结构相关的优化器提供了严谨的理论基础。

Apr, 2023

本文提出一种基于 Bayesian 图神经网络作为新的代理函数的方法，能够自动提取深度神经架构中的特征，并使用学到的特征来拟合和表征黑箱目标及其不确定性，将其用于应对深度神经架构搜索的挑战性任务，实验结果表明该方法在基准任务上明显优于比较方法。

May, 2019

本文提出了一种新颖的基于预测理论的微分神经结构搜索优化方法，其优化标准很适合于架构选择，即最小化次优操作选择所产生的遗憾。我们的方法动态地清除劣质结构并增强优秀结构，它获得了最优最坏情况遗憾的较佳性能，并建议使用基于反向梯度携带信息量的多个学习速率。该算法在多个图像分类数据集上均获得了强大的性能，具体而言，在移动设置下 CIFAR-10 达到 1.6％的错误率，ImageNet 达到 24％的错误率，并在另外三个数据集上实现了最新的研究成果。

Jun, 2019