Aug, 2023

二元性原则与可生物学学习：连接表示定理与赫布学习

PDF
TL;DR使用相似性匹配的规范方法，我们探索了监督学习算法，并阐明了神经架构的出现和加性与乘性更新规则，并展示了代表定理在推动我们对神经计算的理解中的关键作用。
发现论文，激发创造
  • 走向生物学可行的深度学习

    本文探讨了一种更具生物学可行性的深度表示学习方法，通过一种基础学习规则（即基于突触权重更新的时序相关型可塑性）引出一种机器学习的梯度下降算法，利用神经元动态学实现了近似的变分 EM 算法，提出了使用去噪自编码器实现梯度的方法，并将其在生成学习任务上加以验证。

    Feb, 2015

  • 单相对比赫布学习的两个故事

    通过将梯度表示为活动差异的方法进行生物合理性学习算法的搜索，提出了名为 “双向传播” 的完全本地学习算法，弥补了与反向传播的性能差距，无需分离的学习阶段或无穷小的盯人，在稳定性方面仍然与对称盯人无关。

    Feb, 2024

  • 生物启发学习中分解编码器设计中的表征学习

    本文研究了在代表性学习中利用具有局部可塑性规则的归纳偏见，探索了在编码器的早期层中通过使用人为指定的准不变滤波器的归纳偏见来提高学习分类器的鲁棒性和透明性。研究结果表明，这种形式的归纳偏见在局部可塑性规则模型和反向传播模型之间缩小差距，以及在学习更稳健的表示方面具有益处。

    Nov, 2023

  • 超越准确性：生物可信的时间信用分配规则的泛化特性

    通过揭示损失面曲率的角度，论文研究神经网络的梯度下降算法对生物可行性的影响，发现生物可行性的学习规则在通用性上具有更差且更不稳定的性能，其倾向于接近神经突触权重空间的高曲率区域。

    Jun, 2022

  • 相似性匹配目标为何导致何比 / 抗何比神经网络？

    采用类似匹配目标优化可以从根本上来推导具有本地学习规则的神经网络；通过维度降低，我们引入了几个变量替换方法来阐明类似匹配的成功，并证实通过根据原则导出的学习规则获得的网络性能优于那些通过启发式学习规则获得的。

    Mar, 2017

  • 生物可信神经网络的研究：大脑启发机制在持续学习中的作用和交互

    通过生物学上的神经元网络组合中的多种互补机制，可以在人工神经网络中实现连续学习。

    Apr, 2023

  • 本地可塑性规则可使用自监督对比预测学习深度表征

    这篇论文提出了一种受到神经科学和自监督深度学习最新进展启发的学习规则，使用局部，赫布规则进行权重更新，并具有深度分层的图像、语音和视频表示。

    Oct, 2020

  • 神经科学启发的机器学习综述

    这篇论文调研了模拟生物可行的信用分配规则在人工神经网络中的多个重要算法，并讨论了它们在不同科学领域的解决方案以及在 CPU、GPU 和神经形态硬件上的优势，最后讨论了未来需要解决的挑战，以使这些算法在实际应用中更加有用。

    Feb, 2024

  • 基于 Hebbian 学习的线性回归参数估计

    通过建立上下界，我们证明了这种 Hebbian 学习规则在仅有线性回归损失的查询可用时，可以实现比任何独立于数据选择查询的非自适应方法更快的收敛速度。

    Sep, 2023

  • 一个基于 Hebbian /Anti-Hebbian 神经网络的线性子空间学习模型：从流数据多维缩放推导

    本文介绍了一种基于局部学习规则的生物学本质上可行的反馈神经网络，该网络利用多维缩放代价函数学习流数据的主要子空间，从而实现神经计算的算法化理论。

    Mar, 2015