Oct, 2023

ROAM：通过优化操作符顺序和内存布局实现高效的内存节约的大规模 DNN 训练

PDF
TL;DRROAM 提出了一种在计算图级别上操作，以得到内存有效的执行计划，包括优化的运算符顺序和张量内存布局，用于模型。ROAM 相对于 Pytorch 和两种最新方法能够显著降低 35.7%、13.3% 和 27.2% 的内存需求并达到了惊人的 53.7 倍加速。
发现论文，激发创造
  • ROAM: 循环优化跟踪模型

    本文提出了一种基于响应生成和边界框回归的跟踪模型，利用尺寸可调卷积滤波器适应对象的形状变化，同时利用离线训练的循环神经优化器在元学习环境中更新跟踪模型，从而提高更新速度并实现更好的性能。实验证明该方法在多项基准测试中表现优异。

    Jul, 2019

  • ProTrain: 基于记忆感知技术的高效 LLM 训练

    ProTrain 通过协调内存、计算和 IO，采用分块模型状态管理和块状激活管理，在不改变训练算法的情况下，通过内存感知的运行时分析器智能平衡内存使用和性能，相较于其他最佳训练系统，ProTrain 提高了 1.43 倍至 2.71 倍的训练吞吐量。

    Jun, 2024

  • 高效大规模语言模型训练的记忆和通讯成本重新思考

    大尺寸建模训练，延迟均衡化，部分冗余优化器，分层重叠环，训练效率

    Oct, 2023

  • 有序记忆

    本研究提出了一种命令式记忆网络结构（Ordered Memory architecture），通过引入一种新的基于注意力机制的累计概率控制内存的写入和擦除操作，并使用一种新的门控递归单元将低级表示组合成高级表示。在逻辑推理和列表组合任务中获得了强大的表现，并证明其表现与现有方法相当。

    Oct, 2019

  • GaLore: 通过梯度低秩投影实现的内存高效 LLM 训练

    通过提出 Gradient Low-Rank Projection (GaLore) 的训练策略，本研究在大规模语言模型的预训练过程中实现全参数学习，并以更高的内存效率减少了高达 65.5% 的优化器状态内存使用，同时在多项任务上保持了效率和性能，展示出在具有 24GB 内存的消费级 GPU 上（例如 NVIDIA RTX 4090）进行 7B 模型的预训练的可行性。

    Mar, 2024

  • SmartMem: 移动设备上高效执行 DNN 的布局变换消除和适应性

    这篇论文介绍了 SmartMem，一个综合的框架，通过智能选择布局和实施操作，消除了大多数布局变换，并开发出适用于移动设备常见的 2.5 维内存的高效内存布局。实验结果表明，SmartMem 在 18 个不同神经网络上的移动设备上性能优于 5 个最先进的 DNN 执行框架，包括卷积神经网络、具有局部和全局注意力的 Transformer 以及 LLMs。特别是，与 DNNFusion 相比，SmartMem 的平均加速比为 2.8 倍，并且在平均值上优于 TVM 和 MNN，速度提高了 6.9 倍和 7.9 倍。

    Apr, 2024

  • 合作：记忆不是一种商品

    深度学习框架中的张量再材料化方法 Coop 通过优化张量分配和再材料化，实现了多达 2 倍的内存节省，大大减少了计算开销、搜索延迟和内存碎片化。

    Nov, 2023

  • ZeRO: 面向训练万亿参数模型的内存优化

    本文描述了一种名为 ZeRO 的内存优化算法，可以有效地缩短大型深度学习模型的训练时间，并提高模型大小和通讯效率。该算法在 400 个 GPU 上训练了超过 1000 亿参数的大型模型，提供了比现有技术更高的性能和可用性。

    Oct, 2019

  • VeLoRA：使用排序 - 1 子标记投影的内存高效训练

    通过梯度下降，我们确认了大型语言模型的有效模型收敛所需的重要组件，并提出了一种廉价且内存高效的算法来进行微调和预训练大型语言模型。

    May, 2024

  • 通过多级原位生成实现内存高效神经网络

    本研究提出了一种通用和统一的框架，通过多级现场生成机制和混合精度基准，实现了高分辨率参数的即时恢复，从而以最小的硬件开销直接将昂贵的内存交易转换为超快的芯片内计算，提高了内存效率 10-20 倍。

    Aug, 2021