- 改进的前向对比学习
在这篇论文中,我们通过消除 Forward-Forward Continuous Learning (FFCL) 的最后两个阶段和完全去除常规的反向传播,而仅仅依靠本地更新来解决常规反向传播在生物大脑中的局限性,从而提出了一种更具生物可行性 - 采用分层无监督学习减少前向算法中的数据和损失需求
最近的深度学习模型,如 ChatGPT,利用反向传播算法展示出令人瞩目的性能。然而,生物大脑过程与反向传播算法之间的差异被注意到。为了解决这个问题,出现了纯正向传播算法,它只通过前向传递来训练深度学习模型。尽管由于必须使用特殊的输入和损失函 - 分布式深度学习中的前向 - 前向
通过分布式计算环境中采用 Geoffrey Hinton 的 Forward-Forward(FF)算法来增强神经网络的训练,该论文介绍了一种新的分布式深度学习方法。该方法利用双向传递策略进行前向传递,与传统的前向和后向传递方法有显著的区别 - ICLR图神经网络的前向学习
通过本文中提出的 ForwardGNN 算法,我们可以以一种新的前向学习方式来解决 BP 算法所带来的局限性,该算法扩展了原始的前向传播算法,使其适用于图数据和图神经网络,并且不再需要产生负输入数据,同时每个层可以从自下而上和自上而下的信号 - AAAI前向 - 前向算法的卷积式分通道竞争学习
通过通道竞争学习在卷积神经网络中提出前向传递算法(Forward-Forward Algorithm)的改进方法,构建一个逐层有竞争性的学习过程,避免了负数据的生成、收敛速度较慢以及在复杂任务上性能不足等限制,在图像分类任务中,我们的方法优 - 三种简单技术训练深层前向网络
现代机器学习模型能在各种非平凡任务上超越人类,但随着模型复杂性的增加,它们消耗大量能源且难以有效地泛化到未见数据。本研究提出了三个简单技术的集合 The Trifecta,以极大地改善更深层网络上的 Forward-Forward 算法,并 - 前向前向算法中稀疏性的理论
本研究论文探讨解释了前向传播算法中观察到的高稀疏现象,并提出了两个定理来预测单个数据点的激活稀疏性变化,该理论与在 MNIST 数据集上进行的实验结果相吻合。
- ICLR前前向算法中的睡眠剥夺
本文从生物角度探索了在睡眠背景下,正向 - 正向算法中两个正向传递的分离,并展示了睡眠和清醒阶段间的差距大小对算法的学习能力产生的影响,同时强调了消除睡眠剥夺的破坏性影响的负面数据的重要性。
- 自监督学习中正向正向算法的研究
我们首次研究了自监督表征学习中前向 - 前向算法与反向传播的性能,并对所学到的表征空间提供了深入洞察。在四个标准数据集(MNIST,F-MNIST,SVHN 和 CIFAR-10)以及三种常用的自监督表征学习技术(旋转,翻转和拼图)上,我们 - ICML正向 - 正向算法作为皮肤病变分类特征提取器的初步研究
本文提出了通过结合前向前向算法和反向传播算法进行生物医学图像分类,进而实现对皮肤病的早期检测和更准确的分类,为临床医生的诊断和治疗提供帮助。
- 高光谱图像分类的前向算法:初步研究
本研究探讨前向传递算法在高光谱图像分类中的应用,实验结果和比较分析表明该方法具有较大的潜力和优势,相较于传统反向传播算法可更好地克服初值敏感、梯度消失、过拟合和计算复杂度等问题。
- 单类系统无缝融合正向 - 正向算法
该研究旨在探究在前向传播算法下使用深度单类目标函数的性能,并表明在解决单类问题时,不需要特别开发新的损失函数。
- 光学神经网络的前向 - 前向训练
本文介绍了一种利用光学系统实现神经网络训练的新路径,该方法使用了 Forward-Forward Algorithm 和多模非线性波传播等技术来提高 NN 性能。
- 综合正向算法:将正向传递和浅层反向传播与局部损失相结合
该研究比较了反向传播算法、前向 - 前向算法和提出的一个整合算法,并在 MNIST 数据库上进行了分类任务的测试,结果表明,使用提出的整合算法可以生成具有强健性等优势特征的神经网络。
- 前向 - 前向算法中的层次协作
本研究探讨了前向传播算法中的层次协作,并提出了一种新的版本来支持层次协作,以更好地利用神经网络的结构,同时不需要任何额外的假设或计算。经验证明,所提出的版本对于同时考虑信息流和目标度量具有显著的效果,并且这种方法受到了函数熵理论的启发。
- 前前算法:一些初步探索
介绍一种新的神经网络学习过程 —— 正向式算法,通过两次正向传递代替反向传播的前向和反向传递,并具有针对正数据具有高好度和负数据低好度的目标函数。