Jul, 2018

使用 40,000 颗核心进行交互式超级计算，用于机器学习和数据分析

PDF
TL;DR本研究展示了如何通过调整启动方法和提前部署应用程序，克服任务调度和依赖关系等技术挑战，使用 LLSC 的大规模超级计算机在几秒内启动数千个任务，例如 32,000 个 TensorFlow 进程和 262,000 个 Octave 进程，进而快速研究新型机器学习架构和数据分析算法。
interactive massively parallel computationsmachine learningdata analysissupercomputing capabilitiestensorflow
发现论文，激发创造
  • ICE：为大规模不平衡问题提供交互式建模能力，赋能非专业人士

    本篇论文讨论了交互式学习的问题，包括主动学习和互动学习，提出了一种支持交互学习的平台架构，并介绍了其在机器学习和用户界面方面的应用研究。

    Sep, 2014

  • 开放协作中的分布式深度学习

    本文研究了 Deep Learning 中在协作训练上的瓶颈，提出了一种适用于协作训练的新算法框架，并在实际条件下展示了该方法对 SwAV 和 ALBERT 的预训练效果，结果表明该方法的性能与传统设置相当，成本仅为传统设置的一小部分。最后，提供了一个由 40 名参与者组成的成功的协作语言模型预训练的详细报告。

    Jun, 2021

  • SRL: 将分布式强化学习扩展到超过一万个核心

    本文提出了一种新的强化学习分布式系统 ReaLly Scalable RL (SRL)，其使用专门的数据流抽象来实现对不同应用的关联性规律的基础的通用培训，可实现大规模培训并获得了较高的性能。

    Jun, 2023

  • TPU v4: 具有嵌入式硬件支持的机器学习可重构超级计算机

    谷歌推出新的 TPU v4 超级计算机，采用光路电路交换和 SparseCores 等技术，提高了机器学习模型的性能和能源效率。

    Apr, 2023

  • 利用深度学习大规模学习宇宙

    使用深度学习技术在超级计算机上搭建了基于 TensorFlow 框架的高度可伸缩的宇宙学应用 CosmoFlow，通过使用 3D 卷积和池化原语的高效实现，平台多线程计算操作等技术手段，在 Cori 系统上训练具有 77％并行效率的 8192 个节点，取得 3.5 Pflop /s 的持续性能，成功处理了大规模的 3D 暗物质分布并预测了宇宙学参数 ΩM，σ8 和 ns 的精度空前的结果。

    Aug, 2018

  • 探索在 Google TPUs 上进行 ML 训练的并发限制

    本文提出了一些技术来在 Google TPU Multipod 上扩展 ML 模型，讨论了模型并行处理，解决数据并行处理中批处理大小的扩展限制，以及一些性能优化方法，并用 TensorFlow 和 JAX 框架进行了演示，同时给出了 MLPerf-v0.7 竞赛结果，获得了四个 MLPerf 模型的最快训练时间记录。

    Nov, 2020

  • 基于模拟的并行训练

    本文介绍一种训练框架，可对机器学习进行科学计算，并通过缓存数据来减轻同时生成数据的时间延迟。实验表明，该框架在多参数 Lorenz 吸引子的测试中成功缓解了数据偏差，从而可以更好地捕捉系统的复杂混沌动态。

    Nov, 2022

  • MegaScale：将大规模语言模型训练扩展至超过 10,000 个 GPU

    我们介绍了 MegaScale 的设计、实现和工程经验，它是一个用于在超过 10,000 个 GPU 的规模上训练大型语言模型的生产系统。我们采用了一种全栈方法，通过共同设计算法和系统组件来解决训练效率和稳定性方面的挑战，并分享了我们在确保系统稳定性方面的操作经验。

    Feb, 2024

  • Chat AI：一个无缝的 Slurm 原生解决方案，用于基于 HPC 的服务

    提供一种基于云端虚拟机的网络服务架构，与高性能计算系统相结合，通过 Slurm 集群实现运行大规模语言模型，提供一种安全、私密的可替代商业大规模语言模型服务的解决方案。

    Jun, 2024

  • 规模机器学习

    本文介绍了一个自动化的机器学习平台，用于在数字广告技术环境中构建数千个预测用户行为的模型，并实现连续的优化广告活动，涉及数十亿的广告展示量和数亿的用户，以及多个不同的性能目标。

    Feb, 2014