May, 2023

预训练与搜索：利用预训练神经成本模型实现高效的嵌入表分片

PDF
TL;DR本文提出了一种有效的分片方法 ——“预训练和搜索”，使用预训练的神经成本模型作为高效的分片模拟器，并在此基础上使用在线搜索来识别最佳分片方案，实验表明，NeuroShard 可以在分片数据集上以多项改进表现，同时在实际应用中，可以取得 6.6% 的端到端训练吞吐量改进。
shardingdistributed trainingneural networkcost modeldeep learning
发现论文，激发创造
  • AutoShard: 推荐系统的自动嵌入表切片

    介绍了 Meta 中的 AutoShard，使用神经代价模型直接预测多表代价，并利用深度强化学习解决分区问题的新实践，其有效性，可转移性和效率使其适用于生产使用。

    Aug, 2022

  • RecShard：基于统计特征的内存优化技术，适用于工业级神经推荐

    该研究提出了一种基于训练数据分布和模型特征的优化的 RecShard 方法，适用于嵌套的内存架构中对深度学习推荐模型 (Deep Learning Recommendation Models, DLRMs) 中的 EMB 内存表进行分区和布局，能够有效地提高训练吞吐量。

    Jan, 2022

  • GShard：通过条件计算和自动分片扩展巨型模型

    利用 GShard 能够高效地扩展神经网络规模，支持多语言机器翻译，使得能够在 4 天内用 TPU v3 加速器训练 600 亿参数的模型，并且在从 100 种语言翻译成英语方面的性能要明显优于之前的工作。

    Jun, 2020

  • MTrainS：使用异构内存提高 DLRM 训练效率

    通过优化平台内存层次结构，设计 MTrainS 在深度学习推荐模型 (DLRM) 中降低节点数目，优化内存容量，提高训练效率，从而减少功耗和训练成本。

    Apr, 2023

  • 使用缓存的混合精度嵌入

    该研究介绍了一种新的嵌入式表（embedding table）缓存内存架构及其优化，该架构主要针对推荐系统中的大规模模型训练，通过低精度训练大部分嵌入式表行数据，实现与标准训练精度下相同准确率的情况下，INT8 位精度嵌入式表与缓存大小仅为嵌入式表大小的 5%，最终实现达到 3 倍的减存储效果，并在 GPU 与主机间的数据传输方面达到了 16% 的训练加速。

    Oct, 2020

  • 数据并行训练中的跨副本权重更新分片自动化

    该研究提出一种自动切分权重计算的方法，避免了权重变量维度不可切分而导致的性能和可扩展性问题。研究表明，这种技术在典型的图片和语言模型上都能显著提高性能，并帮助我们在 Google 的 MLPerf 0.6 竞赛中获得了表现最好的结果。

    Apr, 2020

  • DeepJoin：预训练语言模型支持的可连接表格发现

    在数据湖管理中，使用 Deepjoin 进行精确和高效的可连接表发现，它是一种基于深度学习模型的嵌入式检索解决方案，可服务于等价连接和语义连接，训练数据和数据增强技术的设计有助于其在大数据集上泛化，其精度甚至优于专家标记的语义连接的精确解，并配备 GPU 时速度可提高两个数量级。

    Dec, 2022

  • 通过动态嵌入修剪对预训练语言模型实现令人烦恼的简单记忆效率

    使用预训练语言模型（PLMs）的广泛内存占用可阻碍其在内存受限环境（如云环境或设备上）的部署。本文提出了一种简单而有效的方法来减小嵌入矩阵的内存占用，从而在保持下游任务性能的同时更有效地利用计算资源。

    Sep, 2023

  • 知识图谱嵌入模型的扩展

    为训练图神经网络中的知识图嵌入模型提供可扩展解决方案，其中算法策略包括独立分区、基于约束的负样本采样和边缘小批量训练，以避免跨分区数据传输，具有 16 倍的加速效果，而模型性能与非分布式方法相当。

    Jan, 2022

  • 学习压缩嵌入，为设备内推理提供支持

    提出一种新型的多嵌入压缩方法 MEmCom，利用哈希和可训练权重分别构建两个嵌入表来同时实现对嵌入表的压缩和各实体对应独特嵌入的映射，该方法在多个问题类别上超过现有技术，并在压缩嵌入大小的同时实现与非压缩嵌入相近的区分能力。

    Mar, 2022