Dec, 2021

避免灾难：主动树突在动态环境中实现多任务学习

PDF
TL;DR通过生物学对神经元的性质进行深度学习网络的架构设计和实现，成功地解决了动态情境下的任务适应及多任务学习问题，进一步说明了神经元的生物学特征可以启示深度学习系统解决传统神经网络无法解决的动态场景中的问题.
aiembodied systemsdynamic scenarioscatastrophic forgettingneural implementation
发现论文，激发创造
  • 利用树突特性推进机器学习和神经启发式计算

    通过生物神经元的树突机制推导出 AI 领域中的重要问题，为构建更强大、能源效率更高的人工学习系统提供了新的解决方案。

    Jun, 2023

  • 树突使人工神经网络具备准确、稳健和参数高效的学习能力

    利用生物树突的结构连接性和受限采样特性，提出了一种新的人工神经网络架构，通过不同的学习策略实现对多个类别的响应，使得树突人工神经网络在图像分类任务中具有更高的鲁棒性和更低的可训练参数数量。

    Apr, 2024

  • 一个多功能电路用于仿真生物活跃树突，应用于声音定位和神经元模拟

    通过引入一种模拟树突分支节段的多功能电路，本研究揭示了树突在生物感知以及神经网络构建中的重要作用，并证明可以纯由树突电路构建神经元网络。

    Oct, 2023

  • 深度学习中生物学的角色

    本文回顾了人工神经网络历史并将现代理论神经科学应用于深度学习领域中的实验，使用迭代幅值剪枝来训练稀疏连接的网络，发现仅仅靠权重稀疏并不能提高图像的噪声鲁棒性，最近，开发出利用权重稀疏性，活性稀疏性和主动树突建模来方便持续学习的模型，本文重新验证了这些发现，并将该方法扩展到更具挑战的连续学习任务上，并公开了代码。

    Sep, 2022

  • 深层皮质微回路中的树突误差反向传播

    通过对多区域神经元网络模型的介绍，本研究提出了一种新的突触可塑性学习规则，通过基础树突上的突触修饰实现错误反向传递从而学习。并且在该框架中加入一种去抑制机制，使得该框架能够生成噪声和关注感和一些其它学习任务。

    Dec, 2017

  • 生物可信神经网络的研究：大脑启发机制在持续学习中的作用和交互

    通过生物学上的神经元网络组合中的多种互补机制，可以在人工神经网络中实现连续学习。

    Apr, 2023

  • 树突皮层微电路模拟反向传播算法

    本文基于深度学习和神经科学，介绍了一种多层神经元网络模型，该模型利用简化的树突区，实现误差驱动的突触可塑性，在时间上持续地通过局部树突预测误差进行突触学习，进而解决了长期以来的突触学分配问题，并在回归和分类任务中证明模型的学习能力。

    Oct, 2018

  • 探索具有隔离树突的深度学习

    通过采用具有多重分区的神经元的深度学习算法，该论文展示了如何理解大脑如何优化成本函数，并证明通过分离树突分支可以实现深度学习。

    Oct, 2016

  • 上下文敏感的新皮层神经元转换神经信息处理的有效性和效率

    通过模仿具有环境感知性的新皮层神经元的能力，使用视频信息作为上下文来引导音频信号处理，既能提高深度学习在音频 - 视觉处理方面的处理效能，又能提高处理效率和能源利用效率。

    Jul, 2022

  • 秩序中的秩序：结构化神经元的循环网络中发育和学习的相互作用

    通过应用局部、始终开启的可塑性规则，我们能够在由两个群体组成的递归网络中学习复杂序列，我们的模型具有资源高效性，仅需少量神经元即可学习复杂序列，我们通过鸟鸣学习的模拟中展示了这些特点，在该模拟中，我们的网络首先学习了一个长的非马尔可夫序列，尽管存在外部干扰，它们能够稳健地复现此序列。

    Feb, 2024