Nov, 2022

一个自适应神经进化算法用于在不同类型之间构建深度神经网络架构

PDF
TL;DR本篇研究提出了自适应神经进化 (SANE) 方法以自动构建不同任务的轻量 DNN 结构，其中关键的设置是为不同的 DNN 类型定义的细胞和器官的搜索空间。 SANE 能够自适应地调整演化探索和利用以提高搜索效率，并提供了一种大规模且性能出众的 DNN 架构搜索的有效方法。
neuroevolutiondnn architectureself-adaptiveevolution strategydnn types
发现论文，激发创造
  • 寻找图神经网络的邻域聚合

    本文提出了一个名为 SANE 的框架，用于自动设计数据特定的 GNN 体系结构，并通过设计新颖且具有表现力的搜索空间和更有效的可微搜索算法，解决了 NAS 方法面临的计算难题。在四项任务和七个真实世界的数据集上的实验结果表明，SANE 在效率和效果方面比现有的 GNN 模型和 NAS 方法更为优异。

    Apr, 2021

  • 深度脉冲神经网络的多尺度进化神经架构搜索

    本论文提出了一种基于大脑多尺度拓扑结构的多尺度进化神经架构搜索算法 (MSE-NAS)，通过基于神经激发的间接评估函数 (表示不同矩阵 RDMs) 演化单个神经元操作，从而得到具有卓越可扩展性和迁移性的 SNN 架构。实验结果表明，该算法在静态数据集 (CIFAR10, CIFAR100) 和神经形态数据集 (CIFAR10-DVS 和 DVS128-Gesture) 上均取得了最新技术水平 (SOTA) 的性能表现，而不需要训练，同时不影响在不同尺度上的生物解释性。

    Apr, 2023

  • 演化神经架构搜索综述

    本文系统地综述了 200 多篇最新基于进化计算的 NAS 算法，分析了其设计原理和未来研究方向。

    Aug, 2020

  • 神经结构搜索的演化搜索空间

    通过维护一个优化的搜索空间子集的神经搜索空间演化（NSE）方案，引入可学习的多分支设置，实现了神经架构设计的自动化和优化，以在 ImageNet 上实现优异的表现和响应延迟限制。

    Nov, 2020

  • 脑启发的脉冲神经网络的进化架构

    通过自然进化形成的人脑复杂而独特的神经网络拓扑结构使其能够同时执行多个认知功能，本文通过引入模块化结构和全局互连性来进化脉冲神经网络的架构，同时提出一种高性能、高效能、低能耗的多目标进化算法，通过对静态数据集和神经形态数据集的广泛实验证明了所提出模型的能效提升和稳定优异的性能，并初步探索了人脑生物神经网络的进化机制。

    Sep, 2023

  • 深度神经网络通过对比自监督学习的进化

    我们提出了一个使用自监督学习来进化深度神经网络的框架，通过在 CIFAR-10 数据集上的实验结果表明，我们能够在降低对标注数据依赖的同时进化出适当的神经网络结构，并且相比于采用监督学习的个体，通过自监督学习学习到的网络结构对于输入的标注数据量较不敏感。

    Jun, 2024

  • 神经网络设计的高效自动化：可微分神经架构搜索综述

    该论文综述了 Differentiable Neural Architecture Search (DNAS) 领域的最新进展，提出了一种基于挑战的分类方法，并探讨了 DNAS 对全局神经架构搜索领域的影响和未来研究方向。

    Apr, 2023

  • 图神经网络的进化架构搜索

    本研究提出了一种新的自动化机器学习（AutoML）框架，通过演化图神经网络（GNN）模型来寻找最合适的结构和学习参数，并在半监督和归纳式节点表示学习和分类任务上展示它的性能。

    Sep, 2020

  • 自我激发的神经元群体用于连续强化学习

    使用自激活神经模块及模块化结构，本文提出了一种基于视觉强化学习环境的无先验任务边界设定的持续学习方法，以避免忘却与利用旧有的技能，并在生成环境中进行了相关实验。

    Dec, 2022

  • AD-NEv++：多架构基于神经演化的多变量异常检测框架

    使用 AD-NEv++ 方法，通过优化神经进化过程中的突变算子，并支持广泛的神经层面，包括关注、稠密和图卷积层，我们在广泛采用的多变量异常检测基准数据集上进行了大规模实验评估，结果表明 AD-NEv++ 模型在异常检测中胜过知名的深度学习架构和基于神经进化的方法，并且在所有异常检测基准测试中，AD-NEv++ 可以改进并胜过最先进的图神经网络模型架构。

    Mar, 2024