Mar, 2020

Facebook 数据中心中的深度学习培训：大规模上下文系统设计

PDF
TL;DR本文介绍了 Facebook 在机器学习中使用的大规模推荐模型 (DLRMs)，探讨了在模型规模和复杂性不断增加时，如何高效地扩展训练。为了解决这个问题，Facebook 设计了 Zion 平台，作为下一代大内存训练平台，由 CPU 和加速器组成。
发现论文，激发创造
  • 深度学习推荐模型快速可扩展训练的软件硬件协同设计

    本文介绍了使用 PyTorch 和 Zion platform 的高性能可扩展软件堆栈的 SW/HW 共同设计方案，用于高效训练大规模 DLRMs，实现了可分层分区和高性能的数据通信等多项优化，从而在之前系统的基础上将训练时间提速了 40 倍。

    Apr, 2021

  • 面向个性化推荐系统的深度学习推荐模型

    该论文提供了一个使用 PyTorch 和 Caffe2 框架实现的深度学习推荐模型，该模型使用模型并行处理嵌入层以缓解内存限制，并利用数据并行扩展计算。与现有模型相比，该模型在 Big Basin AI 平台上的表现得到了完善的特性和良好的性能，并可作为未来算法实验和系统设计的基准。

    May, 2019

  • Facebook 数据中心中的深度学习推理：特征描述、性能优化和硬件影响

    本文详细介绍了 Facebook 社交网络服务中使用的深度学习模型的计算特征，并描述了针对现有系统的高性能优化，同时指出了其局限性，并为未来的通用 / 加速推理硬件提出建议。此外，我们强调了算法、数字和计算平台更好的协同设计来解决数据中心中经常运行的工作负载的挑战。

    Nov, 2018

  • 深度学习推荐模型规模训练效率探究

    本文探讨使用 GPU 进行推荐模型训练时所遇到的种种挑战，如模型架构参数、存储过大的嵌入表等造成的 GPU 性能与效率问题，同时介绍了新型 GPU 服务器设计 Zion 所带来的优势。

    Nov, 2020

  • 大规模深度学习模型的高效训练：文献综述

    对于深度学习模型的训练加速技术的综述，主要从数据中心、模型中心、优化中心、预算训练和系统中心五个角度入手，详细介绍了各个方面减小计算复杂度的方法，其中包括数据样本的正则化、模型参数的减少和优化目标的设计等。

    Apr, 2023

  • Facebook 基于 DNN 的个性化推荐系统的体系结构影响

    这篇论文介绍了一组用于个性化推荐的实际生产规模的深度神经网络，以及与此相关的性能度量，以促进研究和推动未来规模推荐的系统设计和优化，文中分析了推理延迟、批处理和推理的协同作用、推荐模型的不同优化策略。

    Jun, 2019

  • MTrainS：使用异构内存提高 DLRM 训练效率

    通过优化平台内存层次结构，设计 MTrainS 在深度学习推荐模型 (DLRM) 中降低节点数目，优化内存容量，提高训练效率，从而减少功耗和训练成本。

    Apr, 2023

  • 深度学习的扩展是可预测的，实证的

    本文采用实证方法针对机器翻译、语言建模、图像处理和语音识别等 4 个机器学习领域的数据，研究训练集大小、模型规模与推广误差之间的关系，结果表明推广误差遵循幂定律缩放，且模型改进只改变误差而不影响幂指数。此外，模型大小随数据规模的增大缩小，这些研究对于深度学习的研究、实践和系统设计具有重要意义。

    Dec, 2017

  • 规模化和轻松化的深度学习

    SINGA 是一个可扩展、易用的分布式深度学习平台，具有基于深度学习模型的通用层抽象的直观编程模型和具体优化技术，可在 GPU 和 CPU 上运行，在实际的多媒体应用中的应用表现出了良好的可用性和可扩展性。

    Mar, 2016

  • 规模机器学习

    本文介绍了一个自动化的机器学习平台，用于在数字广告技术环境中构建数千个预测用户行为的模型，并实现连续的优化广告活动，涉及数十亿的广告展示量和数亿的用户，以及多个不同的性能目标。

    Feb, 2014