Jul, 2024

探究Transformer语言模型中的低秩训练：效率与扩展分析

HTML
PDF
TL;DR通过对Transformer-based LLMs中的计算密集型前馈神经网络(FFNs)应用低秩参数化，我们研究表明低秩参数化在尺度上是高效的，能够通过减少参数数量和成本而不显著影响性能，我们开发了宽度和结构化的网络，超过了目前的中型和大型Transformer模型在困惑度和吞吐能力方面的表现。
发现论文，激发创造
  • Megatron-LM：使用模型并行训练十亿级语言模型

    本文提出了一种用于训练亿级参数的transformer模型的简便、高效的内部层模型并行方法，并且通过在WikiText103，LAMBADA和RACE数据集中取得了最先进的结果，证明了大型语言模型可以进一步推进最先进的技术。

    Sep, 2019

  • 多尺度Transformer语言模型

    本文研究了多尺度变压器语言模型，提出了三种不同的架构，并实验性地证明了多尺度表示在内存效率，计算时间和困惑度方面的优势，具有特殊的吸引力。

    May, 2020

  • 搜索用于语言建模的高效Transformer

    通过搜索一种更高效的变体，即 Primer，我们旨在降低 Transformer 模型的训练和推理成本，并且我们证实 Primer 可以在不添加额外调整的情况下显著加快训练速度。

    Sep, 2021

  • 无参数落下：基于敏感度导向的自适应学习速率训练大型Transformer模型

    通过提出一种新的训练策略，根据每个参数的敏感度自适应调整学习率，以减少冗余并改善泛化性能。该训练方法在自然语言理解、神经机器翻译和图像分类方面取得了显著的有效性。

    Feb, 2022

  • 变压器前馈层通过在词汇空间中促进概念来建立预测

    通过反向工程变压器模型中的前馈神经网络层的运算过程，分析其词汇空间中的更新，控制预测结果，提高计算效率。

    Mar, 2022

  • Fast-FNet: 通过高效傅里叶层加速Transformer Encoder模型

    本研究比较了基于Transformer的语言模型中的注意力机制和傅里叶变换，并提出了几种采用更高效的傅里叶变换的模型架构，以提高模型效率。

    Sep, 2022

  • 在长上下文大语言模型中推进Transformer架构的综合调查

    该研究论文主要针对基于Transformer的大型语言模型的长上下文能力进行了模型架构的改进，并提供了与之相关的评估需求以及未来研究的挑战和潜在方向。

    Nov, 2023

  • Transformer稳定了：一种端到端的信号传播理论用于语言模型

    通过开发统一的信号传播理论和提供控制转换模型中正向和反向信号时刻的公式，本研究致力于理解和缓解与高注意力分数相关的梯度消失/爆炸、秩坍缩和不稳定性。我们还提出了DeepScaleLM，一种初始化和缩放方案，通过整个模型保持单位输出/梯度时刻，从而使得能够训练包含上百层的非常深的模型。在多个数据集和模型大小上，我们发现转换模型可以更深 - 我们的深度模型在语言建模、语音翻译和图像分类上优于浅层模型，在只编码器、只解码器和编码器-解码器变体以及Pre-LN和Post-LN transformer上均如此。这些改进也会提高下游问答任务的性能，以及图像分类的鲁棒性。

    Mar, 2024

  • 在高效基础上构建：利用结构化前馈层有效训练LLMs

    通过结构化的前馈网络，使用线性层近似来减少大型语言模型的参数数量和计算成本，同时提出一种自我引导训练的方法来改善这种近似所表现出的训练动力学，从而在训练和推断中实现高效和有效的结果。

    Jun, 2024

  • 大型语言模型中的Transformer对齐

    通过分析38个开放可用的大型语言模型，我们发现Residual Jacobians的左右奇异向量的对齐、线性化和层次指数增长等现象与模型性能正相关，这些重要发现揭示了以往被忽视的显著规律，加强了对LLM体系结构的动态解释，并为进一步理解和优化LLM体系结构铺平了道路。

    Jul, 2024