Jul, 2023

突触可塑性模型与生物启发的无监督深度学习：综述

PDF
TL;DR最近基于深度学习的新兴技术在人工智能领域的各种任务中取得了卓越的结果，然而，它们面临着对抗性输入、生态影响以及需要大量训练数据等多个挑战。作为回应，研究人员越来越关注生物基础的机制，因为生物大脑所展示的惊人能力具有吸引力。本调查研究探讨了一系列这些受生物启发的突触可塑性模型，在深度学习场景中的应用以及与尖峰神经网络突触可塑性模型的关联。总的来说，生物启发的深度学习是一个令人兴奋的研究方向，旨在推进我们当前的技术，同时也加深对智能的理解。
发现论文，激发创造
  • 脉冲神经网络与生物启发式监督深度学习：综述

    该论文综述了近期生物学启发的人工智能方法，重点介绍了脉冲神经网络模型及其训练中的挑战，以及用于传统网络和脉冲网络的生物启发式训练方法，以推进当前模型的计算能力和生物合理性。

    Jul, 2023

  • 基于机器学习和深度学习的脑神经计算：综述

    人工智能对生物医学研究和其他领域有着深远的影响。大脑启发式计算是多模态技术和生物医学领域的重要交叉点。该论文全面回顾了大脑启发式计算中机器学习（ML）和深度学习（DL）模型的演变、应用价值、挑战和潜在研究轨迹。

    Dec, 2023

  • 反馈与局部可塑性学习的学习

    本研究使用元学习发现网络如何利用反馈机制和本地、仿生学习规则，以进行在线信用分配，并超越了现有的基于梯度的算法在回归和分类任务方面的性能，特别是在持续学习方面表现优异，结果表明存在一类生物可行的学习机制，不仅匹配梯度下降，而且还克服了其局限性。

    Jun, 2020

  • 走向生物学可行的深度学习

    本文探讨了一种更具生物学可行性的深度表示学习方法，通过一种基础学习规则（即基于突触权重更新的时序相关型可塑性）引出一种机器学习的梯度下降算法，利用神经元动态学实现了近似的变分 EM 算法，提出了使用去噪自编码器实现梯度的方法，并将其在生成学习任务上加以验证。

    Feb, 2015

  • 通过突触智能进行连续学习

    本研究介绍了智能突触，模拟了生物神经网络的复杂分子机制来解决深度学习中的连续学习问题，实现了高效的分类任务连续学习过程。

    Mar, 2017

  • 深度学习中生物学的角色

    本文回顾了人工神经网络历史并将现代理论神经科学应用于深度学习领域中的实验，使用迭代幅值剪枝来训练稀疏连接的网络，发现仅仅靠权重稀疏并不能提高图像的噪声鲁棒性，最近，开发出利用权重稀疏性，活性稀疏性和主动树突建模来方便持续学习的模型，本文重新验证了这些发现，并将该方法扩展到更具挑战的连续学习任务上，并公开了代码。

    Sep, 2022

  • 基于发育可塑性启发的深度脉冲和人工神经网络自适应修剪

    本文提出了一种发育可塑性启发的自适应剪枝方法，可以动态优化神经网络结构，使其学习效率和速度得到持续和显著的提高，尤其是对于神经形态学数据集的脉冲神经网络而言。

    Nov, 2022

  • 基于直接学习的深度脉冲神经网络综述

    本文综述了基于直接学习的深度脉冲神经网络研究，重点讨论了提高准确性、提高效率和利用时间动态的方法，并进一步分类和总结。同时，展望了未来研究中可能面临的挑战和趋势。

    May, 2023

  • 深度连续局部学习的突触可塑性动力学（DECOLLE）

    通过利用人工神经元中合成的梯度来近似梯度反向传播算法，研究人员在脉冲神经网络中实现了深度连续的本地学习，从而得出由用户定义的成本函数和神经动力学导出的突触可塑性规则，拟合生物和支持事件驱动、低功耗计算机视觉架构的精度与常规计算机相当的性能。

    Nov, 2018

  • 随机网络中基于赫比塞塑性的元学习

    受生物神经元可塑性启发，我们提出了一种搜索方法，通过寻找突触特异的赫比学习规则，使网络能在智能体的生命周期内持续自组织其权重，从而实现在一些强化学习任务中取得成功，同时对多种感官模态处理方式具有适应性。

    Jul, 2020