位置优化器:一种自然启发的优化算法
本文尝试回答生物神经系统是否可以采用梯度的一阶自适应优化方法,通过在突触内使用生物合理的机制呈现了 Adam 优化器的实现,提出了一个新的方法应用于生物合理的 Adam 学习规则,这些机制可能有助于阐明生物突触动力学如何促进学习。
Dec, 2022
本研究基于大自然神经系统的启发,应用突触可塑性规则训练带有局部信息的脉冲神经网络,使其适用于神经形态硬件的在线学习。其目的在于通过应用进化算法,使得各种不同任务的学习过程变得更加简单,通过提供一组各种局部信号、数学算子和全局奖励信号来找到最佳学习规则,我们发现通过这种方法可以成功解决 XOR 和车杆任务,并发现新的学习规则优于文献中的基准规则。
Feb, 2022
通过对前馈神经网络的学习能量建模,我们提出了两种可降低神经可塑性带来的代谢能耗的算法,限制神经可塑性能够显著地节省能量,并可能有助于更好地理解生物可塑性和人工学习匹配。
Apr, 2023
受生物神经元可塑性启发,我们提出了一种搜索方法,通过寻找突触特异的赫比学习规则,使网络能在智能体的生命周期内持续自组织其权重,从而实现在一些强化学习任务中取得成功,同时对多种感官模态处理方式具有适应性。
Jul, 2020
基于神经发育程序的一类自组织神经网络模型,具有可塑性,并能从经历中学习和适应不同的控制任务。结果表明,在需要快速适应或具有非稳态奖励的环境中,结构可塑性是有益的。
Jun, 2024
本文提出将神经网络的神经元进行参数优化,以获得能够执行复杂计算的不同类型的神经元,并展示了如何通过演化神经元参数来解决各种强化学习任务。研究结果表明,神经元的多样性有助于提高神经网络的计算能力。
May, 2023
本文介绍了一种受人类学习模式启发的方法:懒惰学习,通过只在分错的样本上进行学习,可实现一些分类任务的更高准确度,并且不需要超参数调整。
Mar, 2023
提出了利用物理知识来升级神经网络模型以解决优化问题的方法,通过使用修正线性单元和分段线性逼近的双曲正切激活函数,针对三个不同的案例进行实验,结果表明这种升级模型比传统模型更接近于全局最优解,且更有效地优化了 CPU 时间。
Feb, 2023