我们介绍了快速前馈（FFF）架构，它打破了层大小与推理成本之间的线性关系，通过引入对数时间的前馈网络的替代方案。我们展示了 FFF 在推理成本的指数分数上表现出与前馈网络相当的性能，与专家混合网络相比更快地提供性能，并且可以在 transformers 中取代它们。将 FFF 推到极限，我们训练了一个视觉 transformer，在只有 5.8% 性能下降的成本下执行单神经元推理。我们的实现可作为 Python 包使用，只需运行 “pip install fastfeedforward” 即可。

Aug, 2023

本研究探讨了预训练模型 Transformers 中前馈网络（FFN）的计算模式，提出了一种将模型 MoEfication 为多个功能分区的方法，并建立了专家路由器以决定每个输入使用哪个专家。实验结果表明，这种方法可以在保持原始性能的同时使用 10％至 30％的 FFN 参数，同时提高了推断 FLOPS 的效率和提供了一个细粒度的视角来研究 FFN 的内部机制。

Oct, 2021

本文分析了 S-FFN 这种大而稀疏的前馈网络的两个主要设计选择：内存块（或专家）大小和内存块选择方法，并提供了它们相对有效性和效率的见解。在语言建模前训练中，我们发现一种更简单的选择方法 ——Avg-K，通过均值聚合隐藏状态选择块，可以比现有的 MoE 架构实现更低的困惑度。

May, 2023

优化预训练语言模型（PLM）在商用硬件上的部署，通过模型压缩技术提高效率，将 Feed-forward 网络划分为两部分以提高已有压缩方法的效果，并取得了可观的模型尺寸减小和推理速度提升的效果。

Jan, 2024

通过分布式计算环境中采用 Geoffrey Hinton 的 Forward-Forward（FF）算法来增强神经网络的训练，该论文介绍了一种新的分布式深度学习方法。该方法利用双向传递策略进行前向传递，与传统的前向和后向传递方法有显著的区别，与人脑的处理机制更加接近，可能提供更有效和符合生物学原理的神经网络训练方法。我们的研究探索了 FF 算法在分布式环境中的实现，重点关注其促进神经网络层的并行训练能力。这种并行性旨在减少训练时间和资源消耗，从而解决当前分布式深度学习系统中存在的一些固有挑战。通过分析 FF 算法在分布式计算中的有效性，我们旨在展示其作为分布式深度学习系统中的一个具有变革性工具的潜力，提高训练效率。将 FF 算法集成到分布式深度学习中，代表了该领域的重要进展，有可能彻底改变在分布式环境中训练神经网络的方式。

Mar, 2024

GRIFFIN 是一种在不同非 ReLU 激活函数的大规模语言模型 (LLMs) 中选择唯一的前馈 (FE) 专家以实现高效生成的新型无需训练的 MoE 方法。

Apr, 2024

通过优化标签处理、修改标签整合方式以及引入反馈循环，提升了前向前向学习算法在训练神经网络中的性能。

May, 2024

本文介绍了一种利用光学系统实现神经网络训练的新路径，该方法使用了 Forward-Forward Algorithm 和多模非线性波传播等技术来提高 NN 性能。

May, 2023

通过构建分子结构的图表示并利用图神经网络（GNN）作为元模型，EL-MLFFs 有效地捕捉了原子间相互作用并优化了力预测，实验证明 EL-MLFFs 相对于独立的 MLFFs 显著提高了力预测准确性，最佳性能由所有八个模型组合得出。此外，剩余网络和图注意力层在模型的架构中起到了关键作用，EL-MLFFs 框架为 MLFF 的模型选择和力预测准确性的挑战提供了一个有前景的解决方案，为更可靠高效的分子模拟铺平了道路。

Mar, 2024

该研究比较了反向传播算法、前向 - 前向算法和提出的一个整合算法，并在 MNIST 数据库上进行了分类任务的测试，结果表明，使用提出的整合算法可以生成具有强健性等优势特征的神经网络。

May, 2023