Aug, 2023

快速前馈网络

PDF
TL;DR我们介绍了快速前馈（FFF）架构，它打破了层大小与推理成本之间的线性关系，通过引入对数时间的前馈网络的替代方案。我们展示了 FFF 在推理成本的指数分数上表现出与前馈网络相当的性能，与专家混合网络相比更快地提供性能，并且可以在 transformers 中取代它们。将 FFF 推到极限，我们训练了一个视觉 transformer，在只有 5.8% 性能下降的成本下执行单神经元推理。我们的实现可作为 Python 包使用，只需运行 “pip install fastfeedforward” 即可。
fast feedforwardinference costlogarithmic-time alternativemixture-of-expert networksvision transformer
发现论文，激发创造
  • FFSplit：一种用于优化语言模型推理精度和效率权衡的分割前馈网络

    优化预训练语言模型（PLM）在商用硬件上的部署，通过模型压缩技术提高效率，将 Feed-forward 网络划分为两部分以提高已有压缩方法的效果，并取得了可观的模型尺寸减小和推理速度提升的效果。

    Jan, 2024

  • 一种广泛前馈即可解决所有问题

    通过删除解码器层的 FFN 并在编码器中共享单个 FFN，我们能够大幅减少参数数量，只有轻微的准确率下降，最终通过增加共享 FFN 的隐藏维度将这个架构恢复到原始尺寸，从而取得了在准确率和延迟方面的显著提升。

    Sep, 2023

  • 使用负载均衡和主叶节点增强快速前馈网络

    我们提出了将负载均衡和主叶技术融入快速前馈网络（FFFs）体系结构，以改善性能并简化训练过程。通过在文献中实现实验并展示使用这些技术增强的 FFF 模型的结果，我们发现所提出的架构和训练方法在训练和测试准确性方面相较于原始 FFF 架构分别提高了 16.3% 和 3% 的分类准确性。此外，与先前研究中报道的结果相比，我们观察到结果的变化较小。这些发现表明在 FFF 中整合受 Mixture of Experts 技术启发的技术可以开发出更准确和高效的模型。

    May, 2024

  • 在高效基础上构建：利用结构化前馈层有效训练 LLMs

    通过结构化的前馈网络，使用线性层近似来减少大型语言模型的参数数量和计算成本，同时提出一种自我引导训练的方法来改善这种近似所表现出的训练动力学，从而在训练和推断中实现高效和有效的结果。

    Jun, 2024

  • 指数级加速的语言建模

    FastBERT 是一种 BERT 变种，使用仅占其神经元的指数部分进行推断，同时表现出与类似 BERT 模型相当的性能。它通过将前馈网络替换为快速前馈网络来实现，每层推断只有 12 个神经元参与。我们提供了高效的 CPU 代码和 PyTorch 实现，分别获得了 78 倍和 40 倍的加速效果，同时发布了训练代码、基准设置和模型权重。

    Nov, 2023

  • 具有自我关注前馈神经单元的显式基础模型优化

    通过显式解法，可以在小规模数据上训练出性能良好且参数较少的神经网络，这种解法比传统的反向传播方法更高效，并能在低资源应用中实现高效优化。

    Nov, 2023

  • 使用循环快速权重编程器超越线性变压器

    通过在快速和慢速神经网络中加入循环来探索新的变化形式，提出一种新颖的循环快速权重编程模型（RFWPs），并在两个合成算法任务，语言模型和 Atari 2600 2D 游戏环境中评估了模型的效果。

    Jun, 2021

  • 变压器前馈层通过在词汇空间中促进概念来建立预测

    通过反向工程变压器模型中的前馈神经网络层的运算过程，分析其词汇空间中的更新，控制预测结果，提高计算效率。

    Mar, 2022

  • MoEfication：Transformer 前馈层是专家混合层

    本研究探讨了预训练模型 Transformers 中前馈网络（FFN）的计算模式，提出了一种将模型 MoEfication 为多个功能分区的方法，并建立了专家路由器以决定每个输入使用哪个专家。实验结果表明，这种方法可以在保持原始性能的同时使用 10％至 30％的 FFN 参数，同时提高了推断 FLOPS 的效率和提供了一个细粒度的视角来研究 FFN 的内部机制。

    Oct, 2021

  • 基于前馈设计的可解释卷积神经网络

    本文提出了一种解释性前馈 (FF) 设计，通过数据统计推导出当前层的网络参数，构建了基于 Saab 变换和 LRS 级联的卷积与全连接层的 CNN， 并在 MNIST 和 CIFAR-10 数据集上比较了 BP 和 FF 设计的分类准确性和鲁棒性，并探讨了 BP 和 FF 设计之间的关系。

    Oct, 2018