Sep, 2018

Mini-batch Serialization: CNN 训练中的层间数据重用

PDF
TL;DR介绍了一种名为 MBS CNN 训练方法以及 WaveCore CNN 训练加速器，它们通过在芯片缓冲区内优化复用而不是访问外部内存来减少内存访问并分别降低 DRAM 流量 75％ 和系统能量 26％。
convolutional neural networkscnn trainingmbs cnn training approachwavecore cnn training acceleratorsystem energy
发现论文，激发创造
  • 通过多级原位生成实现内存高效神经网络

    本研究提出了一种通用和统一的框架，通过多级现场生成机制和混合精度基准，实现了高分辨率参数的即时恢复，从而以最小的硬件开销直接将昂贵的内存交易转换为超快的芯片内计算，提高了内存效率 10-20 倍。

    Aug, 2021

  • 使用百万像素图像训练卷积神经网络

    本文介绍了一种可以在有限的内存下训练深度卷积神经网络的方法，可以使用较大的图像尺寸，并通过定量比较证明了该方法与传统方法等效。

    Apr, 2018

  • MBS：卷积神经网络模型压缩的宏块缩放技术

    本文提出了一种宏块缩放算法 (MBS)，可适用于各种 CNN 体系结构，以减小其模型大小。通过与 ImageNet 和 CIFAR-10 的经验研究表明，MBS 可以进一步减小某些已经紧凑的 CNN 模型的模型大小，同时即使是超深的 ResNet-101 和 ResNet-1202 也可以减小其模型大小，而准确度降低可忽略不计。MBS 的简洁高效性，其与任何 CNN 模型一起使用的灵活性以及与任何深度的模型一起使用的可扩展性使其成为 CNN 模型大小缩小的有吸引力的选择。

    Sep, 2018

  • 在 GPU 上优化深度卷积神经网络的内存效率

    本文探讨了对于卷积神经网络的内存效率的优化，以及其对性能的影响，并提出了数据布局及内存访问模式方面的优化策略。实验证明，这些策略不仅对于单个层面有效，对于整个神经网络也可获得高达 27.9 倍和 5.6 倍的速度提升。

    Oct, 2016

  • LR-CNN：轻量级面向行的卷积神经网络训练以减少内存消耗

    我们通过重新组织操作，将传统的一层一层的数据流规则打破，设计了一种轻量级架构，能够在不影响准确性的情况下移除大部分中间数据，有效降低内存消耗。我们特别研究了两个连续行之间的较弱依赖关系，提出了两种解决方案，并通过评估验证了其有效性。我们还验证了我们的中间数据流优化可以顺利结合现有工作以获得更好的内存减少效果。

    Jan, 2024

  • 低内存神经网络训练技术报告

    本文研究了神经网络训练所需内存的实际需求量，并系统评估了四种降低训练内存需求的标准技术。研究结果表明，通过选择适当的技术组合，可以在保持较少损失精度的前提下，显著减少训练神经网络所需的内存。

    Apr, 2019

  • SF-MMCN: 低功耗可重构服务器流卷积神经网络加速器

    利用并行结构提出的 SF-MMCN 设计，在面对 CNN 模型中的并行结构时实现了高效的操作和区域利用率，并取得了 76% 的能量节约、55% 的面积节约以及 9.25 倍和 4.92 倍的操作和区域利用效率提升。

    Mar, 2024

  • NeuroFlux: 自适应本地学习的内存高效 CNN 训练

    在受限资源的移动和边缘环境中，创新的卷积神经网络（CNN）训练系统 NeuroFlux 旨在提高训练效率，通过引入自适应辅助网络和块特定的自适应批处理大小来减少 GPU 内存使用，并缩短训练时间，从而实现了 2.3 倍到 6.1 倍的速度提升和精度不损失的模型。

    Feb, 2024

  • 智能存储方块实现可扩展节能的深度学习 Neurostream

    本文提出了一种基于高带宽内存和处理器内存的柔性解决方案，名为 NeuroCluster，可用于深度卷积神经网络的可扩展和节能执行，并实现了最好的能源效率，平均性能为 240 GFLOPS，能源效率为 22.5 GFLOPS/W。

    Jan, 2017

  • 利用计算相变存储进行准确的深度神经网络推断

    介绍了一种在内存计算硬件上训练 ResNet 类型卷积神经网络的方法，并提出了一种基于批标准化参数的补偿技术，可以在映射到 PCM 后实现分类精度高达 93.7％ 的 CIFAR-10 数据集和 71.6％ 的 ImageNet 基准测试的 top-1 精度。

    Jun, 2019