mini-batch | BriefGPT - AI 论文速递

关键词mini-batch

搜索结果 - 12

KDDLibAUC: 一个用于 X - 风险优化的深度学习库
本文介绍了一个用于优化风险函数家族 X-risks 的深度学习库 LibAUC，它采用一种新的 mini-batch 管道实现 DXO 算法，实现了 CID、LTR 和 CLR 等多种任务的良好性能和收敛性。
PDFa year ago
MMMBRS : 通过真实和模拟的 JPEG 压缩 Mini-Batch 增强基于 DNN 的水印鲁棒性
提出了一种基于 Mini-Batch 的深度学习水印算法训练框架，该框架利用真实的 JPEG、模拟的 JPEG 和无噪声层作为噪声层，使用 Squeeze-and-Excitation 模块来学习更好的特征，提出了 “信息处理器” 扩展信息
PDF3 years ago
亿级图的分布式图神经网络训练
本文介绍了 DistDGL 系统，作为基于 Deep Graph Library（DGL）进行开发的图神经网络（GNN）的分布式训练系统，具有高效、可扩展性等优点。该系统采用了高质量且轻量级的最小割图划分算法，并支持非本地节点组成的自我网络
PDF4 years ago
Filter Response Normalization 层：消除深度神经网络训练中的批次依赖性
本文提出了 Filter Response Normalization（FRN）层，一种归一化和激活函数的新型组合，可以作为其他归一化和激活函数的替代品；该方法在各种情况下都优于 BN 和其他替代品，对于具有大型 mini-batch 的
PDF5 years ago
ASVRG: 加速近端 SVRG
本论文提出了一种加速的近端随机方差减少梯度（ASVRG）方法，它具有一种简单而有效的动量加速技巧，并证明在强凸和非强凸目标函数上都可以实现最佳已知的 oracle 复杂度。同时将 ASVRG 扩展到 mini-batch 基础上，并证明了理
PDF6 years ago
EMNLP加速异步随机梯度下降算法在神经机器翻译中的应用
为了解决异步随机梯度下降中的样本过期问题并提高性能，我们引入了一种延迟梯度更新的技术，同时采用本地优化器和动量微调使我们的浅层机器翻译系统比优化的基线快 27% ，而 BLEU 得分几乎没有降低。
PDF6 years ago
重新审视深度神经网络的小批量训练
本文研究了基于小批量样本随机梯度优化的现代深度神经网络训练中，不同批量大小对测试性能和泛化性能的影响，并指出使用小批量训练可以提供更稳定和可靠的结果。
PDF6 years ago
ICLRFlipout: 小批量高效的伪独立权重扰动算法
该研究介绍一种有效的方法 ——Flipout 可以使得独立的权重扰动在每一个实例上进行采样，从而可以减小大规模 minibatch 的方差，并且可以在训练 LSTM 等神经网络时进行优化，同时可以替代现有方法用于演化策略。
PDF6 years ago
插值的威力：理解 SGD 在现代超参模型学习中的有效性
本文旨在正式解释当代机器学习中观察到的 SGD 快速收敛现象。我们重点观察现代学习架构是过参数化的，并且被训练用于通过将经验损失（分类和回归）驱动到接近零的插值数据。我们表明，这些插值方案允许 SGD 快速收敛，与全梯度下降迭代次数相当。对
PDF7 years ago
用于非凸优化的随机递归梯度算法
本文研究分析了随机递归梯度算法 (StochAstic Recursive grAdient algoritHm, SARAH) 的 mini-batch 版本，用于解决非凸损失函数的经验损失最小化问题。我们提出了一种子线性收敛率 (对于一
PDF7 years ago
加速小批次随机对偶坐标上升
本篇论文介绍了一种在机器学习中用于解决正则化损失最小化问题的有效技术，即随机对偶坐标上升算法（SDCA）的一种扩展，首次引入了一种加速版的 mini-batch SDCA 算法，并且证明了它的快速收敛率。我们在并行计算系统上实现了该方法，并
PDF11 years ago
自适应抽样和小批量随机梯度下降进行高效距离度量学习
本研究提出了利用随机梯度下降中的小批量和自适应采样两种策略来有效地减少 DML 的计算复杂度，证明了这些方法的理论保证，并进行了广泛的实证研究以验证所提出算法的有效性。
PDF11 years ago