可实现大规模数据集的生物合理学习算法
提出了 Product Feedback Alignment(PFA)算法,它在避免显式的权重对称的同时,几乎与反向传播(BP)算法相同,能够在深度卷积网络中实现可比较的性能,从而提供了对长期存在的权重对称问题的新解决方案,实现了更加符合生物合理性的深度卷积网络学习。
May, 2024
通过对 MNIST、CIFAR-10 和 ImageNet 数据集中的机器学习任务进行实验,我们提出和探究了目标传播和反馈对齐算法的变体,在全连接和局部连接的体系结构下,大部分算法都可以很好的完成 MNIST 数据集的任务。然而,我们发现在面对 CIFAR 和 ImageNet 数据集时,这些算法在局部连接的体系结构下表现不如反向传播算法,因此我们需要新的架构和算法来扩展这些方法。
Jul, 2018
研究深度人工神经网络中的反向传播学习算法与大脑神经元突触可塑性规律的类比,介绍了不依赖于对称前向和后向突触权重的算法,提出通过加强权重符号一致性的反馈对准法的修改,可以实现与反向传播法相当的性能。这些研究结果表明,促进前向和反馈权重对准的机制对于深度网络的学习是至关重要的。
Dec, 2018
通过 15 个不同的分类数据集系统性地调查 BP 算法的对称性依赖程度,研究结果表明:1. 反馈权重的大小对性能没有影响;2. 反馈权重的符号对性能影响显著,符号越一致性能越好;3. 使用随机大小的反馈权重且符号完全一致时,性能相当甚至优于 SGD;4. 需要一些规范 / 稳定化才能使这种不对称 BP 算法起作用,即批量归一化(BN)和 / 或一种 “批量曼哈顿”(BM)更新规则。
Oct, 2015
本研究提出一种基于神经科学机制实现随机反向传播的框架,该框架采用三种类型的元件和两种类型的突触连接来计算和传播错误信号,并支持全局定义的尖峰误差函数的多层尖峰神经网络的训练。使用局部部件中操作的 Hebb 定律来更新突触权值并以生物学可行的方式实现监督学习。最后,从优化的角度解释了提出的框架并显示其等效于符号一致反馈对齐。
May, 2022
该研究提出了一种基于信息理论的新颖理论,解释了反馈对齐(Feedback Alignment)是如何通过将目标信息嵌入到神经网络中来学习有效表示,其表现与 BP 算法相比,且还考虑到了生物学方面的现象和理论,例如预测编码和表征漂移。
Apr, 2023
本文探讨了替代反向传播算法的方案,研究了直接反馈对神经视图合成、推荐系统、几何学习和自然语言处理的适用性,并发现该方案可以成功训练各种现代深度学习架构,其性能接近于微调的反向传播,支持在没有权重传输的情况下解决具有挑战性的任务。
Jun, 2020
本文讨论了反向传播算法的神经可行性,研究了一种竞争性的局部学习规则和几种使权重传输过程更生物学可行的非局部学习规则,并提出了两条无需权重对称的神经实现学分分配的路径。
Feb, 2020
该论文研究 “反馈对齐” 算法的数学特性,通过分析二层网络在平方误差损失下的收敛和对齐,证明在过度参数化的情况下,误差会以指数速度收敛,以及参数对齐需要正则化。该成果对我们理解生物学可行的算法如何不同于 Hebbian 学习方法,具有与非本地反向传播算法相当的性能提供了方法。
Jun, 2021