Jul, 2023

Rockmate：基于 PyTorch 的高效、快速、自动化和通用重现工具

PDF
TL;DRRockmate 是一个自动化工具，从模型代码开始生成一个等效的模型，使用预定义数量的内存来控制 PyTorch DNN 模型训练时的内存需求。
发现论文，激发创造
  • 用最优张量再次材料化打破内存壁垒

    本篇研究论文提出了 Checkmate，这是一种针对训练 DNN 进行时间和内存要求的权衡的系统，它可以在不到一小时的时间内解决最佳重构日程表，并使用这些日程表加速数百万次的训练迭代，可适用于复杂的网络结构。

    Oct, 2019

  • RockIt：统计关系模型中利用并行性和对称性进行 MAP 推理

    RockIt 是一种基于最大后验查询引擎的查询引擎，通过整数线性规划 (ILPs) 的编译实现 MAP 推理，并使用一种名为 cutting plane aggregation (CPA) 的新型元算法。它还利用共享内存多核架构并行化 MAP 推理管道的大部分部分，通过与 Alchemy、Markov TheBeast 和 Tuffy 等状态 - of-the-art 系统的大量实验表明，RockIt 在效率和结果质量方面都优于这些系统。

    Apr, 2013

  • ROAM：通过优化操作符顺序和内存布局实现高效的内存节约的大规模 DNN 训练

    ROAM 提出了一种在计算图级别上操作，以得到内存有效的执行计划，包括优化的运算符顺序和张量内存布局，用于模型。ROAM 相对于 Pytorch 和两种最新方法能够显著降低 35.7%、13.3% 和 27.2% 的内存需求并达到了惊人的 53.7 倍加速。

    Oct, 2023

  • 深度网络的内存优化

    本文介绍了 MONeT，一个自动框架，通过最小化深度神经网络的内存占用和计算负荷，优化检查点计划和各种算子的实现，实现了总体内存需求减少 3 倍的效果，能够优于所有以前的手调操作以及自动检查点。

    Oct, 2020

  • Moccasin：神经网络的高效张量再计算优化

    本文讨论了在边缘计算设备上部署和训练神经网络所面临的诸多挑战，提出了一种名为 Moccasin 的新约束编程公式来最小化计算图的执行时间，达到内存预算的目的，并在大规模图中比最近的工作快一个数量级。

    Apr, 2023

  • 深度模型重组

    该研究提出了一种深度模型重新组装（DeRy）技术，通过将预训练模型划分为等价集合并重新组合网络模块以满足硬件和性能限制，实现了通用模型的重复使用，并在 ImageNet 数据集上取得了令人满意的性能表现。

    Oct, 2022

  • AutoMate: CAD 装配自动配对的数据集和学习方法

    该研究提出了一种基于边界表示 (BREPs) 的装配建模方法，使用 SB-GCN 进行表征学习，以预测 CAD 类型的 mates 关系，并显示该模型与商业 CAD 系统的兼容性。

    May, 2021

  • MATE: 表格 Transformer 效率的多视角注意力机制

    使用稀疏注意力 Transformer 建构的 MATE 结构，可用于处理包含大量表格的网页文档。MATE 能够高效地处理表格的行列信息，并对涵盖超过 8000 个单元格的文档进行建模，同时在处理包含表格的大型文档时也表现出优越性。我们在三个涉及表格的推理数据集上创造了最新的最佳结果，其中包括了大型文档和表格的 HybridQA 数据集，我们的表现提高了 19 分。

    Sep, 2021

  • 合作：记忆不是一种商品

    深度学习框架中的张量再材料化方法 Coop 通过优化张量分配和再材料化，实现了多达 2 倍的内存节省，大大减少了计算开销、搜索延迟和内存碎片化。

    Nov, 2023

  • 移动设备模型压缩和加速的 AutoML

    本文介绍了使用强化学习算法构建的自动化神经网络模型压缩方法 ——AutoML for Model Compression（AMC），该方法在保持模型准确性的同时，相较于传统的基于规则的压缩方法，具有更高的压缩比，从而实现了在性能和精度之间的最优平衡，并将此方法成功应用于 MobileNet 优化。

    Feb, 2018