Sep, 2023

用于过程动力学建模目的的自动选择最佳循环神经网络架构

PDF
TL;DR通过演化算法和梯度下降方法，本研究提出了四种算法来寻找人工神经网络结构，用于行为（黑箱）建模特定的动态过程。在研究中，采用了经过优化选择的循环型人工神经网络，优化的目标是在学习的数学模型响应下，平衡神经网络的规模和准确性。并通过数学模型验证研究中提出的演化算子的有效性。
algorithmsneural networkbehavioural modellingoptimisation techniquesvalidation study
发现论文，激发创造
  • 多目标进化神经架构搜索用于递归神经网络

    基于多目标进化算法的循环神经网络架构搜索方法在复杂度优化期间使用近似网络形态学，结果显示该方法能够找到与最先进手动设计的循环神经网络架构相比具有可比性能但计算需求较低的新型循环神经网络架构。

    Mar, 2024

  • 控制任务中的循环架构的神经进化

    该研究提出了一种新方法，即利用少量的突变规则来动态演化循环神经网络的结构，其结果表明，这种方法可以在大多数情况下匹配或超过梯度下降方法的性能，同时使用数量级更少的参数，该方法有望在对网络紧凑性和自主设计至关重要的实际应用方面开辟新的途径。

    Apr, 2023

  • 神经架构搜索综述

    本文综述了现有的方法，囊括了计算机领域中的神经体系结构搜索、自动化方法和深度学习等方面，内容包括常用的体系结构搜索空间和基于强化学习和进化算法的体系结构优化算法、模拟模型和单次模型。同时，文章对新的研究方向进行了探讨。

    May, 2019

  • 深度神经网络结构和超参数优化的算法框架

    本篇论文提出一种基于演化有向无环图的算法框架，自动生成高效的深度神经网络并优化其相关超参数，与已有文献中的搜索空间相比更具灵活性，能优化网络的结构和超参数，已经在时间序列预测基准测试中得到了实验结果的验证。

    Feb, 2023

  • 图神经网络中的神经结构搜索

    本文比较了基于强化学习和进化算法的两种神经架构搜索方法来优化图神经网络，结果在包括 7 个数据集的两个搜索空间内显示出两种方法的准确性与随机搜索相似，引出了有多少搜索空间维度实际上与问题相关的问题。

    Jul, 2020

  • 图神经网络的进化架构搜索

    本研究提出了一种新的自动化机器学习（AutoML）框架，通过演化图神经网络（GNN）模型来寻找最合适的结构和学习参数，并在半监督和归纳式节点表示学习和分类任务上展示它的性能。

    Sep, 2020

  • 神经网络架构搜索：综述

    本文通过分类讨论搜索空间、搜索策略与性能估计策略三种维度，为神经架构自动搜索方法的存在研究提供了一个概述。

    Aug, 2018

  • 神经网络超参数优化的有效算法

    本文中提出了一种基于箱限制数学优化问题的方法，运用光滑径向基函数模型及无导数优化工具去寻找神经网络的最佳参数。该方法是自动的且可有效地搜索参数空间，其应用于药物相互作用的预测中具有良好的效果，并且所用的优化工具是开源的。

    May, 2017

  • 演化神经架构搜索综述

    本文系统地综述了 200 多篇最新基于进化计算的 NAS 算法，分析了其设计原理和未来研究方向。

    Aug, 2020

  • 使用概率建模动态优化神经网络结构

    本文提出一种方法在深度神经网络训练期间同时优化网络结构和权重参数的概率分布，可用于解决多种网络结构优化问题，包括层次选择、单元类型选择和连接选择，实验结果表明该方法能够找到适当且具有竞争力的网络结构。

    Jan, 2018