Apr, 2024

径向网络：高性能大型语言模型的动态层路由

PDF
TL;DR大型语言模型在内存、延迟和能耗方面常常面临困难。本文探讨了层稀疏性的实用性，并描述了一种基于 Token 级路由的径像网络方法，以减少生成整个序列所需的计算资源，实现更大容量的网络并明显降低计算和服务成本。
large language modelsdynamic sparsitylayer sparsityradial networkscompute reduction
发现论文，激发创造
  • 自动语音识别的动态稀疏神经网络

    本文介绍了动态稀疏神经网络 (DSNN) 技术，该技术能够在训练后根据需要在运行时即时切换到任何预定义的稀疏度配置，有效地解决了自动语音识别 (ASR) 等场景中硬件资源限制和延迟要求不同的问题，实验结果表明，DSNN 模型的表现与单一稀疏度网络的表现相当。

    May, 2020

  • LoRA-Switch: 动态 LLM 适配器的系统算法协同优化

    在这篇论文中，我们提出了 LoRA-Switch，这是一种用于高效动态适配器的系统算法协同设计架构。通过在推理过程中优化了 CUDA 内核并融合了所有 LoRA 适配器的合并操作，我们的方法在保持了现有动态适配器类似准确性提升的同时，将解码延迟缩短了大于 2.4 倍。

    May, 2024

  • 用于大型稀疏模型的哈希层

    本研究通过使用哈希方法对大型 Transformer 模型中使用不同输入参数的稀疏层进行了训练，通过修改前馈层对序列中的当前标记进行哈希以便将其哈希到不同的权重集中，进一步证明此方法可以在不需要额外路由参数或负载平衡损失等的情况下超越或与 Switch Transformers 和 BASE Layers 等学习路由混合专家方法竞争，同时研究了不同的哈希技术、哈希大小和输入特征的表现，并表明了本研究的方法可以在大规模语言建模和对话任务、下游微调任务中表现出色。

    Jun, 2021

  • 自然语言处理中动态神经网络的调查

    通过动态神经网络中的 skimming 这个研究方向，可以很好地解决预训练语言模型参数过多的问题，实现神经网络的有效扩展，为处理自然语言提供有效的支持。

    Feb, 2022

  • 深度残差输出层用于神经语言生成

    本研究提出了一种深度残差输出映射方法，通过层与层之间的随机失活，更好地捕捉输出空间的结构，避免过拟合，经实验证明有助于提高自然语言生成任务的性能。

    May, 2019

  • 残差网络的残差网络：多层残差网络

    本文提出一种新的残差网络架构 RoR，通过在现有的残差网络中添加层次化的快捷连接实现优化，从而提升其学习能力，进而提高性能，实验结果展示 RoR 在各种残差网络类型中的有效性和通用性，并在多个数据集上达到最佳性能表现。

    Aug, 2016

  • BASE Layers：简化大规模稀疏模型的训练

    通过引入均衡分配的 EXPERT 层，使得大规模语言模型中的稀疏层更加简单。通过将词汇分配到专门的 EXPERT 模块中，可以将训练和推理的效率显著提高，同时避免了使用新的超参数或辅助损失的必要。

    Mar, 2021

  • HyperRouter: 面向稀疏专家混合的高效训练和推理

    通过固定的超网络和可训练嵌入层动态生成路由器参数的方式，HyperRouter 在训练和冻结过程中学习优化路由策略，从而在各项任务上展现出明显的性能提升和效率增益。

    Dec, 2023

  • 语言建模中的跳跃学习

    在对大规模过参数化的语言模型进行预训练时，我们提出了一种简单的路由机制，用于为不同的标记分配不同数量的计算量，从而显著改善在上下文少样本学习中的性能。这种方法在 24 个自然语言处理任务上进行了全面评估，证明相对于竞争性基准，该方法能够显著提高 1-shot 性能，而仅需额外的轻微成本进行推理。

    Nov, 2023

  • 测试 RadiX-Nets：可行稀疏拓扑结构的进展

    数据的指数增长引发了对机器学习研究和工业使用的计算需求。深度神经网络的稀疏化可以创建对复杂数据进行简化的表示。本文提出了一个用于 TensorFlow 的 RadiX-Nets 测试套件，通过测试 RadiX-Net 性能来简化可扩展模型的处理，揭示网络拓扑、初始化和训练行为之间的关系。我们还遇到了训练不一致且准确度较低的 “奇怪模型”，而相似稀疏度的模型则训练良好。

    Nov, 2023