batch sizes | BriefGPT - AI 论文速递

关键词batch sizes

搜索结果 - 9

大型语言模型在预训练期间如何获取事实知识？
通过研究大型语言模型在预训练过程中获得事实知识的机制，发现预训练数据量的增加并不显著提高模型获得和保持事实知识的能力，训练步骤与记忆遗忘和事实知识的泛化之间存在幂律关系，重复训练数据会导致遗忘加速，而使用更大的批量大小有助于提高模型的遗忘鲁
PDF17 days ago
小批次有利可图？探究批次大小对基于强化学习的实际生产调度的影响
通过使用强化学习算法解决实际生产线上的排产问题，本研究探讨了产品批次大小对解决方案质量和强化学习算法的训练动态的影响，并提出了两种新的课程学习策略，为小批量训练提供支持。这些研究结果可应用于与排产问题类似的多个工业场景。
PDFa month ago
AdAdaGrad：自适应梯度方法的自适应批次大小方案
通过使用自适应批次大小策略，引入了 AdAdaGrad 和 AdAdaGradNorm，在深度学习中展示了逐步批处理协议的提升适应性以及与自适应梯度优化器结合使用的自适应批次大小策略的潜力。
PDF5 months ago
在联邦学习中利用语言模型的汇聚层输入：超越梯度和先验的隐私攻击
该研究通过增强攻击方法，在不同批次大小和模型上持续超越之前的最先进结果，提高文本分类任务中的隐私攻击恢复率。
PDF7 months ago
Packrat: 基于 CPU 的 DNN 服务的自动重新配置以降低延迟
通过在 CPU 服务器上使用深度神经网络模型，本文提出了一个新的在线推理系统 Packrat，通过调整模型实例数、线程数和批次大小来最小化推理延迟。实验结果表明，在一系列批次大小中，Packrat 在常用的深度神经网络中将推理延迟提高了 1
PDF7 months ago
Mechanic: 一种学习速率调整器
本文提出了一种名为 Mechanic 的技术，用于自动调整任何基本优化算法和调度的学习率比例因子，该技术不仅提供了实现相似目标的最新理论降低的实用实现，而且在各种大规模的深度学习任务中都进行了严格的评估，在某些问题上，相比手动调整学习率，M
PDFa year ago
CVPR自监督视频 Transformer
本研究提出了一种基于未标记视频数据进行自监督训练的视频 Transformer 方法。通过使用不同的空间大小和帧速率创建局部和全局的时空视图，实现了视频内 actions 的时空不变性，并且该方法不再需要使用负样本或专用存储器。该方法在动作
PDF3 years ago
可切换的规范化用于深度表示学习的规范化
我们提出了可切换归一化（SN）来解决深度神经网络中学习正常化的问题。它有三个不同的范围来计算统计量（均值和方差），包括通道、层和 mini-batch。SN 通过学习它们的重要性权重来在它们之间切换。它适应各种网络架构和任务，对各种具有挑战
PDF5 years ago
ICML并行 SGD 动态批大小在随机非凸优化中的计算与通信复杂度
研究使用动态批量大小的分布式优化在随机非凸优化中实现线性加速和收敛率优化。
PDF5 years ago