本文探索将神经进化算法应用于卷积神经网络拓扑结构优化,使用 Residual Networks 实现可变卷积神经网络拓扑结构,同时讨论如何对该系统进行优化以适应基于遗传算法的优化方法。
Oct, 2022
本文介绍了两种新方法,通过直接在训练时间上实现正则化和使用部分训练来尽早评估个体架构,有效地减少了复杂性和训练时间,从而生产出有效地 CNN 拓扑结构,提高图像识别准确率,开销减少达 20%。这两种方法均经 CIFAR10 基准数据集验证以及保持准确度。
Feb, 2021
本文提出基于蛋白质网络结构特性、相互作用和动态性的新型生物启发式设计 —— 人工蛋白质网络(APN),从而在神经网络的进化过程中产生了一种新的理念转变。
Jun, 2024
本文提出了一种基于拓扑结构优化神经网络连接性的方法,通过为边分配可学习参数并施加稀疏约束,更聚焦有关键作用的连接,并获得在图像分类和目标检测等任务中的显著改善。
Aug, 2020
通过自然进化形成的人脑复杂而独特的神经网络拓扑结构使其能够同时执行多个认知功能,本文通过引入模块化结构和全局互连性来进化脉冲神经网络的架构,同时提出一种高性能、高效能、低能耗的多目标进化算法,通过对静态数据集和神经形态数据集的广泛实验证明了所提出模型的能效提升和稳定优异的性能,并初步探索了人脑生物神经网络的进化机制。
Sep, 2023
本文通过 NeuroEvolution of Augmenting Topologies(NEAT)方法在协同进化的机器人对战领域进行应用,证明复杂化的进化方式可以更好地发现和改进复杂问题的解决方案,因此我们应该让进化和搜索复杂化并优化以发现和改进复杂问题的解决方案。
Jun, 2011
本篇论文探讨神经进化在深度学习中的作用,其中 HyperNeat 通过训练一种间接编码来实现学习大型神经结构,并且结合其他机器学习方法可以有效提取特征。
Dec, 2013
利用动态和部分重构能力强大的现代可编程门阵列作为神经进化动态神经网络的强大平台的潜力得到了本研究的实证。
Apr, 2024
通过拓扑理论的视角对变压器神经网络的表达能力进行理论分析,发现许多常见的神经网络架构可以嵌入到分段线性函数的前拓扑中,而变压器必须位于其拓扑完成中,并且指出这两种网络家族实例化了不同的逻辑片段:前者是一阶的,而变压器是高阶推理器,并且将其分析与架构搜索和梯度下降相类比,将其整合到了对测控系统的框架中。
Mar, 2024
通过进化优化,结合自定义路由和共享模块,提高了 Omniglot 的多任务、多字符识别的表现,为深度神经网络和复杂系统设计提供了重要思路。
Mar, 2018