在高效基础上构建：利用结构化前馈层有效训练 LLMs

Jun, 2024

在高效基础上构建：利用结构化前馈层有效训练 LLMs

Building on Efficient Foundations: Effectively Training LLMs with Structured Feedforward Layers

Xiuying Wei, Skander Moalla, Razvan Pascanu, Caglar Gulcehre

TL;DR通过结构化的前馈网络，使用线性层近似来减少大型语言模型的参数数量和计算成本，同时提出一种自我引导训练的方法来改善这种近似所表现出的训练动力学，从而在训练和推断中实现高效和有效的结果。

Abstract

State-of-the-art results in large language models (LLMs) often rely on scale, which becomes computationally expensive. This has sparked a research agenda to reduce these models' parameter count and computational costs without significantly impacting their performance. Our study focuses

large language models transformer-based llms linear layer approximations self-guided training structured ffns

发现论文，激发创造

LoRAP：大型语言模型的 Transformer 子层应采用差异化结构压缩

本研究提出了一种混合压缩模型 LoRAP，通过输入激活加权奇异值分解方法和基于低秩度差异的参数分配方案，增强了 Transformer 模型中 Multi-Head Self-Attention 子层的低秩特性，并提出了无梯度的结构化通道剪枝方法用于 Feed-Forward Network 子层，实验证明我们的提议在多重压缩比下优于之前的结构化压缩方法。

Apr, 2024

大型语言模型预训练中稀疏前馈网络的统一视角

本文分析了 S-FFN 这种大而稀疏的前馈网络的两个主要设计选择：内存块（或专家）大小和内存块选择方法，并提供了它们相对有效性和效率的见解。在语言建模前训练中，我们发现一种更简单的选择方法 ——Avg-K，通过均值聚合隐藏状态选择块，可以比现有的 MoE 架构实现更低的困惑度。

May, 2023

FinerCut: 大型语言模型的精细化可解释层修剪

基于超参数的 Transformer 网络是大规模语言模型的最新架构。本文提出了一种名为 FinerCut 的剪枝方法，它能够剪枝 Transformer 网络中的自注意力层和前馈神经网络层，以达到模型精简、可解释、多任务的剪枝效果。与之前的工作相比，FinerCut 的效果优于大多数任务，无需微调或后剪枝重建。该方法还提供了可视化工具，以观察被剪枝的层的类型和位置，为未来高效的语言模型设计提供了灵感。

May, 2024

快速前馈网络

我们介绍了快速前馈（FFF）架构，它打破了层大小与推理成本之间的线性关系，通过引入对数时间的前馈网络的替代方案。我们展示了 FFF 在推理成本的指数分数上表现出与前馈网络相当的性能，与专家混合网络相比更快地提供性能，并且可以在 transformers 中取代它们。将 FFF 推到极限，我们训练了一个视觉 transformer，在只有 5.8% 性能下降的成本下执行单神经元推理。我们的实现可作为 Python 包使用，只需运行 “pip install fastfeedforward” 即可。

Aug, 2023

FinGPT-HPC: 高性能计算在金融应用中高效地预训练和微调大型语言模型

通过利用低秩结构以及量化参数，本论文提出了一种高性能的基于 GPU 的方法用于预训练和微调大型语言模型，以实现金融应用，并取得了较快的速度和高模型压缩比，同时保持了很高的准确率。

Feb, 2024

高效提取边缘应用的 LLM

MLFS 是一种能够通过多级低秩微调超级变压器实现参数高效的超网络训练方法，可产生适用于商业边缘应用的高质量编码器模型，并可通过对解码器进行切片来显著减少训练时间。

Apr, 2024

优化计算效率：用结构矩阵代替稠密层

稠密线性层、结构化矩阵、初始化尺度、学习速率和计算高效模型是这篇论文的关键。

Jun, 2024

FFSplit：一种用于优化语言模型推理精度和效率权衡的分割前馈网络

优化预训练语言模型（PLM）在商用硬件上的部署，通过模型压缩技术提高效率，将 Feed-forward 网络划分为两部分以提高已有压缩方法的效果，并取得了可观的模型尺寸减小和推理速度提升的效果。

Jan, 2024

小型印记深度学习的结构变换

提出了一种基于低位移秩概念的结构化变换方法，能快速优化深度学习模型在储存和功耗受限移动设备上的部署，通过参数共享的各种配置实现结构化到非结构化的统计建模，并在关键词检测应用中显著提高推理速度和轻量化程度，表现优于目前的技术。

Oct, 2015

变压器前馈层通过在词汇空间中促进概念来建立预测

通过反向工程变压器模型中的前馈神经网络层的运算过程，分析其词汇空间中的更新，控制预测结果，提高计算效率。

Mar, 2022