dnn training | BriefGPT - AI 论文速递

关键词dnn training

搜索结果 - 22

图管道：通过图管道并行提高 DNN 训练的性能和可扩展性
深度神经网络的管道并行化方法 (GPP) 以及分布式系统 GraphPipe 通过优化微批量进度和并行训练实现了对现有管道并行系统如 PipeDream 和 Piper 的提速和搜索时间的降低。
PDF10 days ago
SlipStream: 分布式训练大规模 DNN 中的流水线调整
SlipStream 是一种在分布式培训系统中有效处理失败的系统，利用功能冗余和管道调度内的泡沫，通过两种优化实现连续培训并最小化或消除训练吞吐量降低。
PDFa month ago
DiTMoS: 微控制器上多样化精简模型选择研究
改进 DiTMoS 的 DNN 训练和推断框架，通过构建小型 / 弱模型并改善其准确性，提高了深度神经网络在微控制器上的有效和准确的推断性能。
PDF4 months ago
深度神经网络低精度训练的更好调度
低精度训练和循环精度训练 (CPT) 是提高深度神经网络训练效率和模型性能的关键，通过分析各种不同的 CPT 调度方式，研究发现改变 CPT 调度可以控制模型性能和训练成本之间的权衡，同时指出激进量化可能对模型性能造成永久性损害。
PDF4 months ago
MLTCP: 深度神经网络训练的拥塞控制
我们提出了 MLTCP 技术，通过将竞争网络带宽的作业的通信阶段相互交错，以有效利用网络，从而增加共享 GPU 集群中的深度神经网络训练作业的速度。在 MLTCP 的核心是一个基于关键概念洞察的非常简单的原则：DNN 训练流应基于每个训练迭
PDF5 months ago
光子学加速深度神经网络训练：基于残余数系统的设计
Mirage 是一种基于残留数系统（RNS）的光子深度神经网络（DNN）训练加速器，通过将 RNS 和光子学相结合，提供高能效、高精度且能够成功训练与 FP32 训练相媲美的 DNNs，相比系统阵列，平均可实现超过 23.8 倍的更快训练速
PDF7 months ago
精密且容错的模拟神经网络蓝图
通过使用残余数系统（RNS），我们研究表明，利用 RNS 基于方法的模拟加速器在只使用 6 位精度的数据转换器的情况下，可以实现优于 FP32 精度的 99% 以上的先进 DNN 推断，而传统的模拟核在相同的 DNN 中需要超过 8 位的精
PDF9 months ago
使用 Adam 累积减少大规模 DNN 训练中活化和梯度的内存占用
研究了大规模 DNN 训练中 GPU 内存问题，提出了一种名为 AdamA 的优化器累加方法，能同时减少激活内存和梯度内存的占用，与 Adam 相比性能不差，能在 PyTorch 和 DeepSpeed 等框架下使用。
PDFa year ago
Concept-Monitor: 通过单个神经元理解深度神经网络训练
通过一个称为 Concept-Monitor 的框架以及一个新的统一的嵌入空间和概念多样性度量方法，我们提出了一个通用的框架，可以自动帮助我们了解黑箱 DNN 训练进程，并且对 DNN 培训过程进行可解释的可视化，还提出了一个新的训练正则化
PDFa year ago
深度神经网络的高效端到端训练中理解数据预处理
本篇论文主要关注于了解公共云中深度神经网络（DNN）训练的数据预处理流程。我们运行实验来测试使用原始数据或记录文件两种主要数据预处理方法所带来的性能影响。初步结果表明，即使使用 NVIDIA DALI 这种高度优化的数据预处理库，数据预处理
PDFa year ago
ECCV用于高分辨率、高吞吐率 DNN 训练的加速器友好型无损图像格式
介绍一个定制化的 L3 图像格式，最大限度地减少 CPU 介入，提高 DNN 训练过程中的数据准备和整体吞吐量
PDF2 years ago
FracTrain: 为高效 DNN 训练在时间和空间上实现分数压缩的比特节省
本研究提出了一种名为 FracTrain 的系统，通过渐进式的分数量化和动态分数量化的方式来降低神经网络训练的计算成本和硬件开销，同时实现可比拟或更高的准确率。
PDF4 years ago
移动边缘云计算中基于混合并行的快速层次化边缘人工智能学习
提出了一种名为 HierTrain 的层次化边缘 AI 学习框架，使用深度神经网络在移动边缘云计算中进行训练，采用了新型的混合并行方法，旨在在边缘设备、边缘服务器和云中进行 DNN 模型层次的自适应分配，该框架在硬件原型上实现，比基于云的
PDF4 years ago
用最优张量再次材料化打破内存壁垒
本篇研究论文提出了 Checkmate，这是一种针对训练 DNN 进行时间和内存要求的权衡的系统，它可以在不到一小时的时间内解决最佳重构日程表，并使用这些日程表加速数百万次的训练迭代，可适用于复杂的网络结构。
PDF5 years ago
分布式机器学习中的非独立同分布数据难题
本文研究在分布式学习中不平衡标签数据分布的问题，发现此问题普遍存在于许多机器学习应用中，尤其是批处理规范化的 DNN 模型，SkewScout 是解决该问题的一种系统级方法。
PDF5 years ago
Cheetah：边缘 DNN 的混合低精度硬件和软件协同设计框架
本文提出了 Cheetah 框架，支持使用超低精度的 posits 格式进行 DNN 训练和推理，同时支持混合精度和其他常用的数值格式，并在 MNIST、Fashion MNIST 和 CIFAR-10 三个数据集上进行了评估。结果表明，用
PDF5 years ago
GPU DVFS 对深度学习的能量和性能影响的实证研究
研究探讨了 GPU 动态电压频率调节对深度学习的影响，发现与默认核心频率相比，最优核心频率可以在不同的 DNN 训练情况下节省 8.7%~23.1% 能源消耗，推断时收益范围为 19.6%~26.4%。这一研究表明，GPU DVFS 有助于
PDF5 years ago
优化 GPU 集群上分布式 DNN 训练的网络性能：1.5 分钟内完成 ImageNet/AlexNet 训练
本论文提出了一种名为 GradientFlow 的通信后端，通过一系列网络优化技术来优化深度神经网络（DNN）的分布式训练，包括环形全局归约、混合精度训练、循环计算 / 通信和懒惰全局归约等，实现了超过 410 倍的训练速度加速比和 1.5
PDF5 years ago
在修剪的权值预算上进行完整深度神经网络训练
本研究提出了一种 DNN 训练技术，该技术可以在不影响准确率的情况下，只学习了部分全参数集。此方法使用反向传播约束更新权重的总数，以仅跟踪具有最高总梯度的权重。通过确保总权重扩散保持接近于基线未修剪 SGD 的扩散，使用我们技术进行修剪的网
PDF6 years ago
深度神经网络训练的基准测试和分析
通过提出一个新的 deep neural networks 训练基准 (TBD)，并在三个主要的深度学习框架 (TensorFlow、MXNet、CNTK) 上进行广泛的性能分析，本文为 DNN 训练提供了一套新的分析工具集以及对未来研究和
PDF6 years ago