feedback alignment | BriefGPT

关键词feedback alignment

搜索结果 - 7

深度神经网络中的逐层反馈对齐保持不变
本文揭示了支持反馈对齐学习动力学的一组守恒定律，揭示了反馈对齐与梯度下降之间的有趣类比，挑战了这些学习算法根本不同的流行说法，并表明这些守恒定律阐明了 ReLU 网络中反馈矩阵的逐层对齐的充分条件，这将使得使用反馈对齐训练的两层线性网络收敛
PDFa year ago
具有增强目标信息的学习：反馈对齐的另一种理论
该研究提出了一种基于信息理论的新颖理论，解释了反馈对齐（Feedback Alignment）是如何通过将目标信息嵌入到神经网络中来学习有效表示，其表现与 BP 算法相比，且还考虑到了生物学方面的现象和理论，例如预测编码和表征漂移。
PDFa year ago
随机反向传播权重的梯度下降的收敛和对齐
该论文研究 “反馈对齐” 算法的数学特性，通过分析二层网络在平方误差损失下的收敛和对齐，证明在过度参数化的情况下，误差会以指数速度收敛，以及参数对齐需要正则化。该成果对我们理解生物学可行的算法如何不同于 Hebbian 学习方法，具有与非本
PDF3 years ago
无权重传输的深度学习
本文提出两种机制：神经电路称为 “权值镜像” 和一种修正 Kolen 和 Pollack 于 1994 年提出的算法的方法来解决反馈路径的合适突触权重的学习。经验表明，这些机制对于大型网络的深度学习具有高效和精确的学习能力，且不需要复杂的连
PDF5 years ago
带有稀疏连接的直接反馈对于局部学习的应用
通过使用反馈对齐算法，提出了一种生物相似性算法来替代反向传播，用一个稀疏的反馈矩阵可以显著改进数据移动和计算的效率，与反向传播相比，可以实现数量级的改进，并且可以在某些方面获得硬件优势，同时还可以获得具有可比性的结果。
PDF5 years ago
可实现大规模数据集的生物合理学习算法
研究了为了解决反向传播算法对称性问题的不同技术及其对不同数据集和网络结构的适用性，其中 sign-symmetry 算法展现出了逼近 BP 算法的分类性能。
PDF6 years ago
NIPS生物启发深度学习算法和架构的可扩展性评估
通过对 MNIST、CIFAR-10 和 ImageNet 数据集中的机器学习任务进行实验，我们提出和探究了目标传播和反馈对齐算法的变体，在全连接和局部连接的体系结构下，大部分算法都可以很好的完成 MNIST 数据集的任务。然而，我们发现在
PDF6 years ago