Dec, 2021

HET: 利用缓存启用的分布式框架扩展大型嵌入式模型训练

PDF
TL;DR该研究提出了一种名为 HET 的系统框架，旨在解决嵌入式模型大规模训练的可伸缩性问题，通过使用嵌入式缓存和新的一致性模型，可以实现具有细粒度一致性保证的高效通信，相较于现有技术，HET 能够减少高达 88% 的嵌入式通信，并实现高达 20.68 倍的性能加速。
embedding modelsdistributed trainingscalabilityembedding cacheconsistency guarantees
发现论文，激发创造
  • ScaleFreeCTR：基于 MixCache 的 CTR 模型分布式训练系统与大规模嵌入表

    本文提出了 ScaleFreeCTR—— 一种基于 MixCache 的 CTR 模型分布式训练系统，旨在解决采用模型并行的推荐分布式训练平台中的性能瓶颈问题，并通过全面性能和消融实验表明了其有效性和高效性。

    Apr, 2021

  • 大型文本语料库单词嵌入的异步训练

    本文提出了一种可扩展的词向量训练方法，通过将输入空间进行分区来缩放到大规模文本语料库，同时不牺牲向量的性能，并在各种 NLP 基准测试中实现了可比较的甚至高达 45％的性能改进。

    Dec, 2018

  • 基于在线动态嵌入预测的减少陈旧性的分布式 GNN 训练

    SAT 是一种新颖的可扩展分布式 GNN 训练框架，通过建立包括时序图模型以预测未来嵌入的模型，有效减轻了缓存历史嵌入的陈旧问题，从而在多个大规模图数据集上实现了更好的性能和收敛速度。

    Aug, 2023

  • HETAL：具有同态加密的高效隐私保护迁移学习

    HETAL 是一种高效的基于同态加密的迁移学习算法，通过使用 CKKS 同态加密方案对客户数据进行加密，并采用基于验证的早停方法，实现了对客户隐私的保护，并达到了非加密训练的准确性。

    Mar, 2024

  • 使用缓存的混合精度嵌入

    该研究介绍了一种新的嵌入式表（embedding table）缓存内存架构及其优化，该架构主要针对推荐系统中的大规模模型训练，通过低精度训练大部分嵌入式表行数据，实现与标准训练精度下相同准确率的情况下，INT8 位精度嵌入式表与缓存大小仅为嵌入式表大小的 5%，最终实现达到 3 倍的减存储效果，并在 GPU 与主机间的数据传输方面达到了 16% 的训练加速。

    Oct, 2020

  • 大规模知识图谱嵌入的硬件不相关计算

    开发了一种基于 DASK、Pytorch Lightning 和 Hugging Face 框架的知识图谱嵌入计算框架，能够以硬件无关的方式计算大规模知识图谱的嵌入表示，并提供了一个开源版本的框架以及一个具有超过 11.4B 参数的预训练模型的集线器。

    Jul, 2022

  • 使用嵌入技术对抗冗余和模型衰减

    本文介绍了 Twitter 在处理海量信息时的一种解决方案，通过采用嵌入模型，实现了同时考虑模型效率与数据分布的算法更新，从而降低因语言变化带来的协变量漂移、减少冗余，并极大地提高了团队建模的效率。

    Sep, 2018

  • 面向大型推荐系统嵌入的频率感知软件缓存

    本文提出了一种基于 GPU 的软件缓存方法来动态管理 DLRM 的 embedding table，通过利用目标数据集 id 的频率统计信息，在 GPU 和 CPU 内存空间之间进行管理，以此来使得在 GPU 上训练 DLRM 更为实用。同时，该方法也支持多 GPU 并行训练，通过实验证明，只在 GPU 上保留 1.5% 的 embedding 参数就能保障训练速度。

    Aug, 2022

  • 从小做起，追求卓越：对大规模知识图谱嵌入的超参数优化

    本论文讨论知识图谱嵌入模型的超参数优化方法，提出了一种高效的多保真度算法 GraSH，并在大规模知识图谱上实现了最新的成果。

    Jul, 2022

  • DeHIN：一个去中心化框架，用于嵌入大规模异构信息网络

    本文介绍了一种基于超图的分布式节点嵌入学习框架 DeHIN，通过分布式的超图划分和开发基于超图的并行化节点嵌入算法，实现了对异构信息网络的高效节点嵌入学习和分布式处理。

    Jan, 2022