Apr, 2023

Moccasin：神经网络的高效张量再计算优化

PDF
TL;DR本文讨论了在边缘计算设备上部署和训练神经网络所面临的诸多挑战，提出了一种名为 Moccasin 的新约束编程公式来最小化计算图的执行时间，达到内存预算的目的，并在大规模图中比最近的工作快一个数量级。
neural networksedge computingtensor rematerializationexecution time minimizationmoccasin
发现论文，激发创造
  • 合作：记忆不是一种商品

    深度学习框架中的张量再材料化方法 Coop 通过优化张量分配和再材料化，实现了多达 2 倍的内存节省，大大减少了计算开销、搜索延迟和内存碎片化。

    Nov, 2023

  • 用最优张量再次材料化打破内存壁垒

    本篇研究论文提出了 Checkmate，这是一种针对训练 DNN 进行时间和内存要求的权衡的系统，它可以在不到一小时的时间内解决最佳重构日程表，并使用这些日程表加速数百万次的训练迭代，可适用于复杂的网络结构。

    Oct, 2019

  • NullaNet：用于减少内存访问推理的深度神经网络训练

    使用布尔逻辑最小化方法训练深度神经网络可以有效降低计算和存储复杂度，并实现高能效。

    Jul, 2018

  • 在集成重溢和分页的微型设备上训练神经网络

    POET 算法可以实现在边缘设备上训练大型神经网络，同时减少能耗并不修改反向传播的数学正确性。在嵌入式设备的内存限制下，使用 POET 可以比当前边缘训练方法更节能地对 ResNet-18 和 BERT 进行微调。

    Jul, 2022

  • 动态张量重构

    本文提出一种名为动态张量再制（DTR）的在线算法，可以在有限的内存条件下实现深度学习的模型训练，具有可扩展性和普适性，支持动态模型，并且性能与静态 checkpointing 的最优解相近，实现了 PyTorch 的 DTR 原型。

    Jun, 2020

  • 有序混沌：针对边缘设备的不规则连线神经网络的内存感知调度

    提出了一种名为 SERENITY 的记忆感知编译器，利用动态规划找到了与 TensorFlow Lite 相比内存占用更少的最优计划，并通过图重写技术进一步优化，使其可以用于边缘设备。

    Mar, 2020

  • CoMERA：基于等级自适应张量优化的计算和内存高效训练

    CoMERA 是一种通过排名自适应张量优化进行计算和内存高效训练的方法，通过多目标优化公式实现端到端的张量压缩训练，并在训练过程中提供了高压缩比和优良的准确性，同时比 GaLore 方法在内存和计算效率方面表现更优。

    May, 2024

  • HadaNets: 神经网络的灵活量化策略

    该研究论文介绍了一种名为 HadaNets 的新型神经网络模型，可以在不占用太多内存和训练时间的情况下有效地训练和推理深度神经网络，同时具有优秀的模型压缩性能。

    May, 2019

  • 利用计算相变存储进行准确的深度神经网络推断

    介绍了一种在内存计算硬件上训练 ResNet 类型卷积神经网络的方法，并提出了一种基于批标准化参数的补偿技术，可以在映射到 PCM 后实现分类精度高达 93.7％ 的 CIFAR-10 数据集和 71.6％ 的 ImageNet 基准测试的 top-1 精度。

    Jun, 2019

  • 边缘可持续 AI 处理

    本研究比较探讨了卷积神经网络加速引擎对于边缘计算的可持续性及其对推理和在线训练的影响，特别关注了处理内存、移动 GPU 加速器和新型 Racetrack 存储器的使用。研究表明，采用更加可持续的处理器内存和移动 GPU 加速器可以有效减少计算的能源占用率。

    Jul, 2022