Jun, 2023

相关信息最大化：一种无需权重对称的监督式深度神经网络的生物学可行方法

PDF
TL;DR提出了一种新的神经网络层间激活的相关信息最大化的正式框架，从而解决了传统反向传播算法的生物学上的可信度问题，并提供了一种自然的权重对称问题的解决方案。
backpropagation algorithmneural networkscorrelative information maximizationbiological-plausibilityweight symmetry problem
发现论文，激发创造
  • 基于相关信息最大化的仿生神经网络进行相关源分离

    提出一种基于神经网络的生物学可行模型，它通过利用源域信息提取相关的潜在因素。该模型采用最大相关信息转移作为分离目标，遵循输出限制约束，从而具有本地学习规则。使用不同的源域选择，可灵活地建模复杂的潜在结构，从而具有出色的相关源分离能力。

    Oct, 2022

  • 深度卷积网络中的反馈对齐

    研究深度人工神经网络中的反向传播学习算法与大脑神经元突触可塑性规律的类比，介绍了不依赖于对称前向和后向突触权重的算法，提出通过加强权重符号一致性的反馈对准法的修改，可以实现与反向传播法相当的性能。这些研究结果表明，促进前向和反馈权重对准的机制对于深度网络的学习是至关重要的。

    Dec, 2018

  • 信息最大化准则的自监督学习

    本文介绍一种基于互信息的 self-supervised 方法 CorInfoMax，该方法通过最大化高斯混合分布下的互信息解决了 mode collapse 和 dimensional collapse 问题。

    Sep, 2022

  • 可实现大规模数据集的生物合理学习算法

    研究了为了解决反向传播算法对称性问题的不同技术及其对不同数据集和网络结构的适用性，其中 sign-symmetry 算法展现出了逼近 BP 算法的分类性能。

    Nov, 2018

  • 无权重对称的可扩展信用分配的两种方法

    本文讨论了反向传播算法的神经可行性，研究了一种竞争性的局部学习规则和几种使权重传输过程更生物学可行的非局部学习规则，并提出了两条无需权重对称的神经实现学分分配的路径。

    Feb, 2020

  • 随机反向传播权重的梯度下降的收敛和对齐

    该论文研究 “反馈对齐” 算法的数学特性，通过分析二层网络在平方误差损失下的收敛和对齐，证明在过度参数化的情况下，误差会以指数速度收敛，以及参数对齐需要正则化。该成果对我们理解生物学可行的算法如何不同于 Hebbian 学习方法，具有与非本地反向传播算法相当的性能提供了方法。

    Jun, 2021

  • 无偏权重最大化

    基于生物学可行性的人工神经网络训练方法，采用强化学习机制来训练每个神经元单元，提出了权重最大化的解决方案，分析了权重最大化的理论特性，并提出了无偏权重最大化的变体来加快学习速度和改进渐进性能。

    Jul, 2023

  • 释放相似性匹配的潜力：可扩展性、监督与预训练

    本研究主要介绍了通过 Convolutional Nonnegative SM 和类似于 canonical correlation analysis 的方法来扩大 primarily unsupervised similarity matching（SM）框架，以便在大规模数据集上实现 SM，并通过与使用 backpropagation 算法训练的模型进行比较，评估所提出方法的特征表现。

    Aug, 2023

  • 自利强化学习智能体竞争学习

    通过使用 $L^2$ 范数 代替隐藏单元的奖励信号，Weight Maximization 能够解决 REINFORCE 学习规则中出现的高方差问题，使得深度神经网络的训练更加高效。此方法同时解决了反向传播算法中存在的可行性问题，并能够用于训练连续值和离散值单元的神经网络。

    Oct, 2020

  • 大脑皮层微电路的计算框架近似于符号一致的随机反向传播

    本研究提出一种基于神经科学机制实现随机反向传播的框架，该框架采用三种类型的元件和两种类型的突触连接来计算和传播错误信号，并支持全局定义的尖峰误差函数的多层尖峰神经网络的训练。使用局部部件中操作的 Hebb 定律来更新突触权值并以生物学可行的方式实现监督学习。最后，从优化的角度解释了提出的框架并显示其等效于符号一致反馈对齐。

    May, 2022