large-scale training | BriefGPT

关键词large-scale training

搜索结果 - 10

ChatGLM-RLHF：大型语言模型与人类反馈的对齐实践
ChatGLM-RLHF 是一种从人类反馈中进行强化学习的系统，通过收集人类偏好数据、训练奖励模型和优化策略等方式，解决了与人类偏好的对齐问题，在大规模训练中稳定奖励方差、实现模型并行性并设计正则化约束以避免灾难性遗忘，通过实验证明在中文对
PDF2 months ago
优化大规模神经网络训练的线搜索方法
使用线搜索方法改进了传统随机梯度下降技术，通过在搜索方向中整合 ADAM 的动量项，实现了高效的大规模训练，提高了性能。
PDF2 months ago
PRDP：基于近似奖励差异预测的扩展模型大规模奖励微调
我们提出了 Proximal Reward Difference Prediction (PRDP) 方法，通过稳定的黑盒子奖励微调在大规模提示数据集上实现了扩散模型。
PDF3 months ago
ICLRCO2：高效分布式训练与完全通信 - 计算重叠
基于限制带宽的集群，我们提出了一种名为 CO2 的新方法，通过引入局部更新和异步通信实现分布式数据并行训练的完全重叠，从而实现大规模训练的高可扩展性。我们还提出了降低收敛性和训练稳定性的过时惩罚和外部动能裁剪技术。通过大量实验验证了 CO2
PDF4 months ago
SRL: 将分布式强化学习扩展到超过一万个核心
本文提出了一种新的强化学习分布式系统 ReaLly Scalable RL (SRL)，其使用专门的数据流抽象来实现对不同应用的关联性规律的基础的通用培训，可实现大规模培训并获得了较高的性能。
PDFa year ago
SmartSAGE: 使用存储处理架构训练大规模图神经网络
本文针对大规模图神经网络 GNN 训练所需的巨大存储容量和内存限制的问题，提出了一种基于存储器的处理（ISP）架构的解决方案 SmartSAGE，使 GNN 训练系统具有高容量存储和高性能。
PDF2 years ago
使用 DeepSpeed 和 Megatron 训练 Megatron-Turing NLG 530B，一种大规模生成式语言模型
本文描述了用于训练 Megatron-Turing NLG 530B （MT-NLG）的基础架构和 3D 并行方法，重点介绍了训练过程、训练语料库的设计和数据精选技术，以及各种评估结果和新特性。作者展示了 MT-NLG 在几个自然语言处理基
PDF2 years ago
ICML周期全局平均化加速 Gossip SGD
本文介绍了一种名为 Gossip-PGA 的算法，该算法将定期全局平均合并到 Gossip SGD 中，通过控制平均周期 H，可以控制网络拓扑结构的影响，而此算法在大规模训练中存在这样的优点，它使得瞬变阶段的收敛速度优于 Local SGD
PDF3 years ago
AAAI为无监督视觉表示学习训练一百万类别的实例分类器
该研究提出了一种简单的无监督视觉表示学习方法，使用参数化的实例级分类器来区分数据集中的所有图像作为前提任务。这种方法解决了大规模训练的困难，并提供了一种相似度先验，以在多个视觉任务中实现了竞争性的性能表现。
PDF3 years ago
Facebook 数据中心中的深度学习培训：大规模上下文系统设计
本文介绍了 Facebook 在机器学习中使用的大规模推荐模型 (DLRMs)，探讨了在模型规模和复杂性不断增加时，如何高效地扩展训练。为了解决这个问题，Facebook 设计了 Zion 平台，作为下一代大内存训练平台，由 CPU 和加速
PDF4 years ago