Nov, 2023

三种简单技术训练深层前向网络

TL;DR现代机器学习模型能在各种非平凡任务上超越人类,但随着模型复杂性的增加,它们消耗大量能源且难以有效地泛化到未见数据。本研究提出了三个简单技术的集合 The Trifecta,以极大地改善更深层网络上的 Forward-Forward 算法,并在简单数据集上通过能够局部层次地学习信息且保留其信息性的表征在更深层次结构中传播而实现了与基于反向传播的模型相当的训练速度和测试准确性,进而实现了 CIFAR-10 数据集上 84% 准确性的显著提升 (25%)。这些结果凸显了 Forward-Forward 作为反向传播的潜在竞争者和一个有前途的研究方向。