Apr, 2023

探索共享内存体系结构的端到端千亿像素深度学习

PDF
TL;DR尝试使用 M1 Ultra SoC 中的共享 GPU/CPU 内存体系结构来解决医学图像领域深度学习模型开发时 GPU 内存资源饱和的问题，通过一种修改后的 U-Net 模型，成功地对具有 10 亿像素的 WSIs 进行了 1 分钟和 21 秒的训练，并获得了高达 0.989 的 Dice 得分，从而可望促进 WSI-wise 端到端深度学习的发展。
发现论文，激发创造
  • 面向多兆像素图像的流式卷积神经网络端到端学习

    提出了一种新的方法，可以直接训练卷积神经网络使用任何输入图像大小端到端，通过将现代卷积神经网络中的大多数操作在图像的较小块上执行，演示了使用高达 66 百万像素的图像的概念证明，这样每个图像可以节省大约 50GB 的内存

    Nov, 2019

  • ZeRO-Infinity：打破 GPU 内存壁垒，满足极端规模的深度学习

    该论文提出了一项新的异构系统技术，称为 ZeRO-Infinity，它可以在有限的资源上实现前所未有的模型规模，同时实现出色的训练吞吐量和可扩展性，并且无需重构模型代码，是一个可以应用于当前 GPU 集群的技术。

    Apr, 2021

  • 超越多实例学习：全分辨率全内存端到端病理切片建模

    人工智能（AI）在大规模数字化临床数据集上训练系统以提高健康结果方面具有巨大潜力。计算病理学作为对诊断和生物标志物具有重大影响的大量显微镜图像数据，处于这一发展的前沿。百亿像素病理学切片由于其巨大的尺寸而面临独特挑战，通常被分成数万个较小的瓷砖进行分析。我们提出了一种新方法，通过在内存中全面高分辨率地同时训练瓷砖编码器和整个切片聚合器来解决这个问题，弥合了输入和切片级监督之间的差距。虽然计算成本更高，但详细的定量验证显示了病理基础模型的大规模预训练的前景。

    Mar, 2024

  • 超级计算机规模的图像分类

    本文介绍了三个与系统相关的优化方案 —— 分布式批量归一化控制每个副本批量大小、输入管道优化维持模型吞吐量和二维鼓形约减加速梯度求和 —— 将这些优化相结合，在 1024 芯片 TPU v3 Pod 上以超过 105 万张 / 秒的训练吞吐量，在 2.2 分钟内将 ResNet-50 在 ImageNet 上训练到 76.3％的准确度，且没有精度降低。

    Nov, 2018

  • 智能存储方块实现可扩展节能的深度学习 Neurostream

    本文提出了一种基于高带宽内存和处理器内存的柔性解决方案，名为 NeuroCluster，可用于深度卷积神经网络的可扩展和节能执行，并实现了最好的能源效率，平均性能为 240 GFLOPS，能源效率为 22.5 GFLOPS/W。

    Jan, 2017

  • 基于混合精度的高可扩展深度学习训练系统：四分钟内训练 Imagenet

    提出了一个用于 GPU 集群的高度可扩展的深度学习训练系统，其中包括采用混合精度训练的方法、优化极大 mini-batch size 的方法、采用高度优化的全约约算法等，这些方法的使用将深度学习训练的吞吐量和精度取得了很好的平衡。

    Jul, 2018

  • 使用百万像素图像训练卷积神经网络

    本文介绍了一种可以在有限的内存下训练深度卷积神经网络的方法，可以使用较大的图像尺寸，并通过定量比较证明了该方法与传统方法等效。

    Apr, 2018

  • 病理学中的 TB 级深度多实例学习用于分类和定位

    该研究使用大规模的有标签数据集训练深度学习模型结合 “多示例学习”，以在针生物镜下进行前列腺癌诊断，并获得了很高的 AUC，为计算病理学领域的决策支持系统部署提供了基础。

    May, 2018

  • G10: 通过智能张量迁移实现高效统一的 GPU 内存和存储架构

    为了突破深度学习工作量的 GPU 内存限制，本文提出了一种名为 G10 的统一 GPU 内存和存储体系结构，通过整合主机内存、GPU 内存和闪存内存，以扩展 GPU 内存容量并实现透明数据迁移，并利用编译器技术来预测深度学习工作量中的张量行为，并通过有效利用闪存内存和主机内存的可用带宽，在提前考虑数据迁移的情况下隐藏数据传输开销，实现了超过 1.75 倍的性能优于现有 GPU 内存解决方案，而无需对深度学习工作量进行代码修改，达到了相当于理想情况下 GPU 内存无限的 90.3% 性能。

    Oct, 2023

  • 利用分布式内存驱动多核处理器加速稀疏和循环模型的训练

    通过在分布式本地内存上使用稀疏和循环模型训练方法，我们观察到与 GPU 相比，使用 MIMD 处理器 (Intelligence Processing Unit) 的稀疏激活张量在训练负载上实现了 5-10 倍的吞吐量增益，且在训练收敛或最终模型性能上没有明显减慢。

    Nov, 2023