自构建神经网络

Apr, 2023

Self-building Neural Networks

Andrea Ferigo, Giovanni Iacca

TL;DR为了在任务执行期间自动构建神经网络结构提出了一种自构建神经网络（SBNN）。该模型采用 Hebbian 学习和修剪相结合的方法，以拟合神经元的突触形成过程。在与传统神经网络的比较中，结果表明其表现通常优于传统神经网络，并且在验证测试中 SBNNs 比传统神经网络更适应新任务，特别是在注重权重修剪的情况下。

Abstract

During the first part of life, the brain develops while it learns through a process called synaptogenesis. The neurons, growing and interacting with each other, create synapses. However, eventually the brain prunes those synapses. While previous work focused on learning and

synaptogenesis hebbian learning pruning self-building neural network adaptive learning

发现论文，激发创造

自适应稀疏结构的剪枝和再生在脉冲神经网络中的应用

本文提出了一种适应性结构发展的 SNN 方法，引入树突棘突触可塑性、神经元修剪和突触再生，通过神经元修剪、突触限制和突触再生等机制，检测和移除了 SNN 的大量冗余，实现了优化压缩并降低网络能耗。在实验中表明，该方法可以在不同任务中学习适当的压缩率并显著降低网络能耗。

Nov, 2022

演化自组成神经网络：从自发活动到经验依赖学习

基于神经发育程序的一类自组织神经网络模型，具有可塑性，并能从经历中学习和适应不同的控制任务。结果表明，在需要快速适应或具有非稳态奖励的环境中，结构可塑性是有益的。

Jun, 2024

通过神经发育计划实现自组装人工神经网络

本文介绍一种神经网络成长的过程，通过一种类似于生物发育的过程，使用神经发育程序 (NDP) 作为一种引导机制，进而自我组织神经网络。作者还探讨了这种方法在不同优化方法（进化训练，在线 RL，离线 RL 和监督学习）和不同机器学习基准上的实验表现，并强调了自组织驱动神经网络成长所带来的未来研究方向和机会。

Jul, 2023

生物可信神经网络的研究：大脑启发机制在持续学习中的作用和交互

通过生物学上的神经元网络组合中的多种互补机制，可以在人工神经网络中实现连续学习。

Apr, 2023

随机网络中基于赫比塞塑性的元学习

受生物神经元可塑性启发，我们提出了一种搜索方法，通过寻找突触特异的赫比学习规则，使网络能在智能体的生命周期内持续自组织其权重，从而实现在一些强化学习任务中取得成功，同时对多种感官模态处理方式具有适应性。

Jul, 2020

基于反向知识蒸馏的生物启发式结构学习与脉冲神经网络

本文提出了一种基于进化算法的结构构建方法，通过集成知识蒸馏和连接修剪方法，优化 SNN 的突触连接以达到最优状态，并在 CIFAR100 和 DVS-Geste 上进行了实验，结果表明该方法可以在降低连接冗余的同时获得良好的性能。

Apr, 2023

脑启发的脉冲神经网络的进化架构

通过自然进化形成的人脑复杂而独特的神经网络拓扑结构使其能够同时执行多个认知功能，本文通过引入模块化结构和全局互连性来进化脉冲神经网络的架构，同时提出一种高性能、高效能、低能耗的多目标进化算法，通过对静态数据集和神经形态数据集的广泛实验证明了所提出模型的能效提升和稳定优异的性能，并初步探索了人脑生物神经网络的进化机制。

Sep, 2023

基于发育可塑性启发的深度脉冲和人工神经网络自适应修剪

本文提出了一种发育可塑性启发的自适应剪枝方法，可以动态优化神经网络结构，使其学习效率和速度得到持续和显著的提高，尤其是对于神经形态学数据集的脉冲神经网络而言。

Nov, 2022

通过随机变异实现自构建神经网络

通过随机突变的简单方法学习神经网络结构，可以在单个生命周期内构建神经网络结构，使其能够适应动态和新颖的任务情境，具备高性能和终身学习能力

Mar, 2021

SNNs 中的集成可塑性和网络适应性

介绍了一种新的基于熵和网络激活的集成学习方法，该方法与仅使用尖峰活动操作的尖峰率神经元修剪技术相结合，用于处理两个脑电图数据集进行分类实验，结果表明这种修剪低尖峰率神经元群集导致更好的泛化能力。

Mar, 2022