神经发生、神经达尔文主义和物种进化是否都可以成为深度神经网络演化的灵感来源？

Apr, 2023

神经发生、神经达尔文主义和物种进化是否都可以成为深度神经网络演化的灵感来源？

Is it conceivable that neurogenesis, neural Darwinism, and species evolution could all serve as inspiration for the creation of evolutionary deep neural networks?

PDF

Mohammed Al-Rawi

TL;DR本文强调了人脑的二维进化对于深度神经网络的进化建模的重要性，提出了通过进化算法对深度神经网络进行自动构建的研究前沿，并探讨了 dropout 方法和神经发生与 DNNs 进化之间的联系，为增强深度神经网络的自动构建提出了几项建议。

Abstract

deep neural networks (DNNs) are built using artificial neural networks. They are part of machine learning methods that are capable of learning from data that have been used in a wide range of applications. DNNs are mainly handcrafted and they usually contain numerous layers. Research f

deep neural networks evolutionary algorithms dropout method neurogenesis automatic construction

发现论文，激发创造

神经元发生的深度学习

本文通过加入新神经元到深度神经网络的层中，探索了连续学习的潜力，并通过 MNIST 手写数字数据集和 NIST SD 19 数据集证明了神经发生有助于解决适应性机器学习算法中的稳定性和可塑性两难问题。

Dec, 2016

通过神经发育计划实现自组装人工神经网络

本文介绍一种神经网络成长的过程，通过一种类似于生物发育的过程，使用神经发育程序 (NDP) 作为一种引导机制，进而自我组织神经网络。作者还探讨了这种方法在不同优化方法（进化训练，在线 RL，离线 RL 和监督学习）和不同机器学习基准上的实验表现，并强调了自组织驱动神经网络成长所带来的未来研究方向和机会。

Jul, 2023

深度学习的起源

本文综述了深度学习模型的演化历程，从神经网络的起源到如今的卷积神经网络、深度置信网络和循环神经网络，分析了这些模型的发展过程和思想，为深度学习提供了全面的背景和未来研究的指导方向。

Feb, 2017

深度神经网络通过对比自监督学习的进化

我们提出了一个使用自监督学习来进化深度神经网络的框架，通过在 CIFAR-10 数据集上的实验结果表明，我们能够在降低对标注数据依赖的同时进化出适当的神经网络结构，并且相比于采用监督学习的个体，通过自监督学习学习到的网络结构对于输入的标注数据量较不敏感。

Jun, 2024

深度学习生成神经进化

本篇论文探讨神经进化在深度学习中的作用，其中 HyperNeat 通过训练一种间接编码来实现学习大型神经结构，并且结合其他机器学习方法可以有效提取特征。

Dec, 2013

分析生物和人工神经网络：挑战与协同机会？

该研究综述了计算神经科学家开发的数据分析概念和技术如何有助于分析深度神经网络（DNN）中的表示，并探讨了近期发展的 DNN 分析技术如何有助于理解生物神经网络中的表示，为神经科学和机器学习领域提供了协同机会，例如使用 DNN 作为神经科学的模型系统，并探讨了这种协同怎样能够产生有关生物神经网络操作原理的新假设。

Oct, 2018

深度学习中生物学的角色

本文回顾了人工神经网络历史并将现代理论神经科学应用于深度学习领域中的实验，使用迭代幅值剪枝来训练稀疏连接的网络，发现仅仅靠权重稀疏并不能提高图像的噪声鲁棒性，最近，开发出利用权重稀疏性，活性稀疏性和主动树突建模来方便持续学习的模型，本文重新验证了这些发现，并将该方法扩展到更具挑战的连续学习任务上，并公开了代码。

Sep, 2022

脑启发的脉冲神经网络的进化架构

通过自然进化形成的人脑复杂而独特的神经网络拓扑结构使其能够同时执行多个认知功能，本文通过引入模块化结构和全局互连性来进化脉冲神经网络的架构，同时提出一种高性能、高效能、低能耗的多目标进化算法，通过对静态数据集和神经形态数据集的广泛实验证明了所提出模型的能效提升和稳定优异的性能，并初步探索了人脑生物神经网络的进化机制。

Sep, 2023

从生物到人工神经网络的转化与借鉴

本文探讨了如何利用深度学习来研究神经健康以及在算法模型中解释神经分析的困难。其重要贡献在于调查死亡神经元对人工神经网络性能的影响，以评估这些发现在生物领域的潜在应用，可能对神经系统疾病的治疗有重要影响。

Jun, 2023

通过神经网络的随机多样性进化学习行动

本文提出将神经网络的神经元进行参数优化，以获得能够执行复杂计算的不同类型的神经元，并展示了如何通过演化神经元参数来解决各种强化学习任务。研究结果表明，神经元的多样性有助于提高神经网络的计算能力。

May, 2023