稀疏循环利用：从密集检查点训练专家混合模型

Dec, 2022

稀疏循环利用：从密集检查点训练专家混合模型

Sparse Upcycling: Training Mixture-of-Experts from Dense Checkpoints

Aran Komatsuzaki, Joan Puigcerver, James Lee-Thorp, Carlos Riquelme Ruiz, Basil Mustafa...

TL;DR提出了一种简单的方法，即利用密集型模型的检查点初始化稀疏模型，从而重复利用一次训练的成本，实现计算效率和准确性的平衡。

Abstract

Training large, deep neural networks to convergence can be prohibitively expensive. As a result, often only a small selection of popular, dense models are reused across different contexts and tasks. Increasingly, sparsely activated models, which seek to decouple model size from computa

neural networks sparse models mixture-of-experts pretraining efficiency

发现论文，激发创造

大型模型是简明学习者：训练转换器中的激活稀疏性

通过实验证明机器学习模型的机制使得 transformer 架构的激活图稀疏化，进而提出一种可以显著降低计算量并提高效率的方式。

Oct, 2022

SPDF：大型语言模型的稀疏预训练和密集微调

本文提出了一种基于稀疏先训练和密集微调的预训练语言模型方法，可将训练 FLOPs 的数量降低到原来的 2.5 倍，同时保持与密集基线相同的下游任务准确性。该方法为训练大规模 GPT 模型提供了一个可行的方向。

Mar, 2023

深度学习中稀疏专家模型综述

稀疏专家模型是一种在近三十年中不断涌现的深度学习架构，通过在每个样本中使用参数子集来实现稀疏度，使参数计数与每个样本的计算分离，产生非常大但高效的模型，已在自然语言处理、计算机视觉和语音识别等领域中显著提高性能。

Sep, 2022

训练稀疏翻译模型的技巧

本文提出了使用 BASELayers 的稀疏缩放架构来缓解多任务学习中高资源任务偏差的问题，并通过温度加热机制和密集预训练两种技术来提高多语言机器翻译的性能。该方法在两个多语言翻译基准测试中的收敛速度比标准的 BASELayers 和密集缩放基线快了两倍以上。

Oct, 2021

利用稀疏性和数据流高效训练大型语言模型

本论文演示了一种使用稀疏性和数据流的端到端训练流程，用于对一个大型语言模型（13 亿 GPT）进行高效训练，能够成功训练出与稠密模型相同质量的结果，并获得 4.5 倍于基线的端到端加速。

Apr, 2023

深度神经网络中稀疏性的状态

本文评估了三种在深度神经网络中引入稀疏性的技术，并对两个大规模的学习任务进行了严格评估，结果表明，简单的幅度剪枝方法可以获得相当或更好的性能，而不能从头开始训练稀疏结构，并强调了建立大规模基准测试的必要性。

Feb, 2019

准确神经网络剪枝需要重思稀疏优化

使用标准的计算机视觉和自然语言处理稀疏基准测试，探讨高稀疏性对模型训练的影响，提供了一种解决有关稀疏训练困难的新方法，并在高稀疏性环境下实现了在视觉模型和语言模型上最先进的结果。

Aug, 2023

大语言模型推理加速的稀疏微调

我们研究了大型语言模型的精确稀疏微调问题，通过引入稀疏权重在专门的任务上微调预训练的语言模型。我们提出了一种称为 SquareHead 的基于 L2 范数的蒸馏方法，能够在高稀疏率下实现准确恢复，并展示了稀疏语言模型在 CPU 和 GPU 执行中的速度提升。

Oct, 2023

稀疏 Imagenet 模型的迁移效果如何？

本文深入研究了在 ImageNet 数据集上，基于无结构剪枝的卷积神经网络模型的迁移学习，表明稀疏模型在高度稀疏的情况下可以匹敌甚至超越密集模型的迁移性能，并且可以带来显著的推理甚至训练加速。同时观察并分析了不同剪枝方法之间的行为差异。

Nov, 2021

MoE Jetpack：从密集检查点到自适应的专家混合用于视觉任务

我们介绍了 MoE Jetpack，这是一种将密集检查点优化为 MoE 模型的有效方法。MoE Jetpack 包括两个关键技术：(1) 检查点回收，将密集检查点重新用于 MoE 模型的初始权重，以加速收敛、提高准确性并减轻预训练的计算负担；(2) 球形自适应 MoE (SpheroMoE) 层，为更好地融合密集检查点而优化 MoE 架构，提高精细调整性能。我们的实验证明 MoE Jetpack 在视觉任务中将密集检查点优化为 MoE 模型时显著提高了收敛速度和准确性。

Jun, 2024