Jun, 2019

Facebook 基于 DNN 的个性化推荐系统的体系结构影响

PDF
TL;DR这篇论文介绍了一组用于个性化推荐的实际生产规模的深度神经网络，以及与此相关的性能度量，以促进研究和推动未来规模推荐的系统设计和优化，文中分析了推理延迟、批处理和推理的协同作用、推荐模型的不同优化策略。
deep learningpersonalized recommendationperformance metricssystem designoptimization strategies
发现论文，激发创造
  • Facebook 数据中心中的深度学习推理：特征描述、性能优化和硬件影响

    本文详细介绍了 Facebook 社交网络服务中使用的深度学习模型的计算特征，并描述了针对现有系统的高性能优化，同时指出了其局限性，并为未来的通用 / 加速推理硬件提出建议。此外，我们强调了算法、数字和计算平台更好的协同设计来解决数据中心中经常运行的工作负载的挑战。

    Nov, 2018

  • 面向个性化推荐系统的深度学习推荐模型

    该论文提供了一个使用 PyTorch 和 Caffe2 框架实现的深度学习推荐模型，该模型使用模型并行处理嵌入层以缓解内存限制，并利用数据并行扩展计算。与现有模型相比，该模型在 Big Basin AI 平台上的表现得到了完善的特性和良好的性能，并可作为未来算法实验和系统设计的基准。

    May, 2019

  • 快速调整和隐私保护的联邦推荐系统

    提出了一种基于分散联邦学习环境的 DNN 推荐模型 PrivRec，该模型不会泄露用户数据并且具有不同的隐私保护级别。

    Apr, 2021

  • 深度学习中的隐私：综述

    本文综述了深度学习中面临的隐私问题，以及已经提出的解决这些问题的技术，并提出了未来研究方向。

    Apr, 2020

  • Facebook 数据中心中的深度学习培训：大规模上下文系统设计

    本文介绍了 Facebook 在机器学习中使用的大规模推荐模型 (DLRMs)，探讨了在模型规模和复杂性不断增加时，如何高效地扩展训练。为了解决这个问题，Facebook 设计了 Zion 平台，作为下一代大内存训练平台，由 CPU 和加速器组成。

    Mar, 2020

  • 基于深度学习的推荐系统：综述与新视角

    本文综述了基于深度学习的推荐系统的最新研究进展，提出和总结了深度学习推荐模型的分类法和现有技术的综述，同时扩展了当前趋势并提供了对这一新兴领域的新见解。

    Jul, 2017

  • 推荐系统研究中可重复性与进展的令人不安的分析

    研究推荐系统中个性化排序算法的设计，近年来基于深度学习（神经网络）技术的方法在文献中占主导地位。本研究通过重新实验验证最近基于协作过滤的神经网络推荐方法的结果，发现其中 11 种方法在概念上简单的最近邻启发式方法表现更好，计算复杂的神经网络方法并没有明显的优势。同时，发现当今研究实践中存在普遍问题，可能导致该领域的停滞。

    Nov, 2019

  • 代表性深度神经网络结构的基准分析

    本研究分析了当前用于图像识别的大多数深度神经网络 (DNN) 的性能指标，包括识别准确率、模型复杂度、计算复杂度、内存使用和推断时间等，并通过在两种不同计算机架构上的实验来测量指标，以帮助研究者们了解目前已经研究探索的解决方案及其未来发展方向，并帮助从业者选择最适合其资源限制的 DNN 架构。

    Oct, 2018

  • 深度学习推荐模型规模训练效率探究

    本文探讨使用 GPU 进行推荐模型训练时所遇到的种种挑战，如模型架构参数、存储过大的嵌入表等造成的 GPU 性能与效率问题，同时介绍了新型 GPU 服务器设计 Zion 所带来的优势。

    Nov, 2020

  • 我们要优化什么？基于人的评估的深度学习推荐系统

    我们开发了一个坚固的人本评估框架，该框架结合了七个不同的评估指标，用于评估五个最近开源的深度学习模型生成的推荐的质量。我们的评估数据集包含了离线基准数据和从 445 名真实用户收集的个性化在线推荐反馈。我们发现，（1）不同的深度学习模型在我们测试的多维度指标上有不同的优势和劣势；（2）用户通常希望在推荐中将准确性与至少一个其他人类价值相结合；（3）不同价值的组合程度需要仔细实验以达到用户偏好水平。

    Jan, 2024