反馈与局部可塑性学习的学习
研究深度人工神经网络中的反向传播学习算法与大脑神经元突触可塑性规律的类比,介绍了不依赖于对称前向和后向突触权重的算法,提出通过加强权重符号一致性的反馈对准法的修改,可以实现与反向传播法相当的性能。这些研究结果表明,促进前向和反馈权重对准的机制对于深度网络的学习是至关重要的。
Dec, 2018
通过介绍一种新的神经可塑性规则,该研究提供了一种在大脑中实现反向传播的潜在机制,并在数学模拟和人工神经网络实验中证明该规则在网络中诱导出不同的社区结构,从而呈现出一种生物学上可行的 BP 实现方式。
May, 2024
本文提出了一种神经形态混合学习模型,该模型实现了元学习局部可塑性和多尺度协同学习的降低维度的脉冲神经网络。在多个任务中展示了该模型的性能,包括在神经形态视觉传感器中的少样本学习、连续学习和容错学习。该模型表现出比单一学习方法显著更高的性能,并展示了在嵌入式应用方面的应用优势。
Jun, 2020
这篇论文提出了一种受到神经科学和自监督深度学习最新进展启发的学习规则,使用局部,赫布规则进行权重更新,并具有深度分层的图像、语音和视频表示。
Oct, 2020
本文讨论了反向传播算法的神经可行性,研究了一种竞争性的局部学习规则和几种使权重传输过程更生物学可行的非局部学习规则,并提出了两条无需权重对称的神经实现学分分配的路径。
Feb, 2020
本论文提出一种使用 Hebbian 更新训练深度网络的方法,反馈权重与前馈权重分离以克服反向传播中不真实的对称性,即使在权重不同的情况下,其性能也与常规反向传播相当,同时提出了一种可以表示为最后一层局部 Hebbian 更新的成本函数。
Nov, 2018
这篇论文调研了模拟生物可行的信用分配规则在人工神经网络中的多个重要算法,并讨论了它们在不同科学领域的解决方案以及在 CPU、GPU 和神经形态硬件上的优势,最后讨论了未来需要解决的挑战,以使这些算法在实际应用中更加有用。
Feb, 2024
受生物神经元可塑性启发,我们提出了一种搜索方法,通过寻找突触特异的赫比学习规则,使网络能在智能体的生命周期内持续自组织其权重,从而实现在一些强化学习任务中取得成功,同时对多种感官模态处理方式具有适应性。
Jul, 2020
提出一种基于信息瓶颈原理的学习规则,结合了核方法,并采用 3 要素的 Hebbian 结构,其不需要精确标签,且在图像分类任务上表现与反向传播算法接近。
Jun, 2020