Feb, 2015

走向生物学可行的深度学习

PDF
TL;DR本文探讨了一种更具生物学可行性的深度表示学习方法，通过一种基础学习规则（即基于突触权重更新的时序相关型可塑性）引出一种机器学习的梯度下降算法，利用神经元动态学实现了近似的变分 EM 算法，提出了使用去噪自编码器实现梯度的方法，并将其在生成学习任务上加以验证。
deep learning algorithmsunsupervised learningspike-timing-dependent plasticityvariational em algorithmdenoising auto-encoder
发现论文，激发创造
  • 本地可塑性规则可使用自监督对比预测学习深度表征

    这篇论文提出了一种受到神经科学和自监督深度学习最新进展启发的学习规则，使用局部，赫布规则进行权重更新，并具有深度分层的图像、语音和视频表示。

    Oct, 2020

  • 二元性原则与可生物学学习：连接表示定理与赫布学习

    使用相似性匹配的规范方法，我们探索了监督学习算法，并阐明了神经架构的出现和加性与乘性更新规则，并展示了代表定理在推动我们对神经计算的理解中的关键作用。

    Aug, 2023

  • 深度学习的概率论理论

    通过发展概率性深度学习框架，研究人员解释了为什么深度学习算法能够胜任复杂感知推断任务，并发现了这些算法的成功和不足之处，提供了其改进的原则路径。

    Apr, 2015

  • 通过强化学习和无监督学习的融合控制神经网络的突触可塑性

    提出了一种基于突触可塑性动态的学习规则，该规则通过融合强化学习和非监督学习模拟误差反馈机制和两个重要机制，包括错误反馈系统以及非监督学习。

    Mar, 2023

  • 神经科学启发的机器学习综述

    这篇论文调研了模拟生物可行的信用分配规则在人工神经网络中的多个重要算法，并讨论了它们在不同科学领域的解决方案以及在 CPU、GPU 和神经形态硬件上的优势，最后讨论了未来需要解决的挑战，以使这些算法在实际应用中更加有用。

    Feb, 2024

  • 反馈与局部可塑性学习的学习

    本研究使用元学习发现网络如何利用反馈机制和本地、仿生学习规则，以进行在线信用分配，并超越了现有的基于梯度的算法在回归和分类任务方面的性能，特别是在持续学习方面表现优异，结果表明存在一类生物可行的学习机制，不仅匹配梯度下降，而且还克服了其局限性。

    Jun, 2020

  • 从神经 PCA 到深度无监督学习

    提出了一种支持深度无监督学习的网络，使用编码器到解码器的侧向快捷连接来支持层次结构，并通过去噪自编码器和去噪源分离框架进行学习，以学习不变特征。

    Nov, 2014

  • 超越准确性：生物可信的时间信用分配规则的泛化特性

    通过揭示损失面曲率的角度，论文研究神经网络的梯度下降算法对生物可行性的影响，发现生物可行性的学习规则在通用性上具有更差且更不稳定的性能，其倾向于接近神经突触权重空间的高曲率区域。

    Jun, 2022

  • 核化信息瓶颈在深度网络中引导基于生物的三因子赫布学习

    提出一种基于信息瓶颈原理的学习规则，结合了核方法，并采用 3 要素的 Hebbian 结构，其不需要精确标签，且在图像分类任务上表现与反向传播算法接近。

    Jun, 2020

  • 竞争隐藏单元的无监督学习

    提出了一个与生物学有相当可信度的非常规学习规则，可以通过全局抑制作用于隐藏层，能够完全无监督的学习早期特征检测器，这些学过的下层特征检测器可用于以惯常的有监督方式训练更高层次的权重，以使整个网络的性能与通过反向传播算法端对端训练的前馈网络的性能相当。

    Jun, 2018