元启发式设计前馈神经网络:二十年研究综述
本文中提出了一种基于箱限制数学优化问题的方法,运用光滑径向基函数模型及无导数优化工具去寻找神经网络的最佳参数。该方法是自动的且可有效地搜索参数空间,其应用于药物相互作用的预测中具有良好的效果,并且所用的优化工具是开源的。
May, 2017
提出了一种基于张量微积分和拟达尔文机制的混合模型,用于寻找适合于策略、控制和模式识别任务的拓扑结构,并且能够在早期演化阶段提供适应的拓扑结构,从而在机器人,大数据和人工生命等领域得到应用。
May, 2022
提出了一种新的神经网络设计方法,其中引导传统算法设计。通过提出两种启发式算法并演示将额外权重合并到其信号流程图中的算法技术,证明了这点。展示了这些网络的性能不仅可以超过初始网络的性能,而且可以达到更传统神经网络架构的性能水平。我们方法的一个关键特征是这些网络的参数初始化具有对于给定任务的体系结构的已知性能阈值。
Jun, 2018
本文提出了一种通过优化算法启发设计深度神经网络结构的方法,研究者们发现,用斜率下降算法替代传统的梯度下降算法有望提高神经网络的速度和性能,并在 CIFAR-10,CIFAR-100 和 ImageNet 数据集上取得了优于 ResNet 和 DenseNet 的结果。
Oct, 2018
本篇论文提出一种基于演化有向无环图的算法框架,自动生成高效的深度神经网络并优化其相关超参数,与已有文献中的搜索空间相比更具灵活性,能优化网络的结构和超参数,已经在时间序列预测基准测试中得到了实验结果的验证。
Feb, 2023
通过演化算法和梯度下降方法,本研究提出了四种算法来寻找人工神经网络结构,用于行为(黑箱)建模特定的动态过程。在研究中,采用了经过优化选择的循环型人工神经网络,优化的目标是在学习的数学模型响应下,平衡神经网络的规模和准确性。并通过数学模型验证研究中提出的演化算子的有效性。
Sep, 2023
本文比较了基于强化学习和进化算法的两种神经架构搜索方法来优化图神经网络,结果在包括 7 个数据集的两个搜索空间内显示出两种方法的准确性与随机搜索相似,引出了有多少搜索空间维度实际上与问题相关的问题。
Jul, 2020
提出了一种基于模糊神经网络(FNN)及 NSGA-II 进化多目标算法的在线任务调度和映射方法,以共同优化异构 MPSoC 的主要设计挑战。通过实验验证,该方法优于相关启发式和元启发式方法,可以提高温度,功耗,故障率和执行时间等几个设计指标的优化性能。
Mar, 2022
基于多目标进化算法的循环神经网络架构搜索方法在复杂度优化期间使用近似网络形态学,结果显示该方法能够找到与最先进手动设计的循环神经网络架构相比具有可比性能但计算需求较低的新型循环神经网络架构。
Mar, 2024