mini-batch training | BriefGPT

关键词mini-batch training

搜索结果 - 8

图神经网络训练系统：全图与小批量的性能比较
通过对全图训练和小批量训练系统的综合实证比较，我们发现小批量训练系统在多个数据集、GNN 模型和系统配置下都比全图训练系统更快地收敛，速度提升在 2.4 倍至 15.2 倍之间。我们还发现两种训练技术在准确度上趋于相似，因此从时间达到准确度
PDFa month ago
VCR-Graphormer: 通过虚拟连接的小批量图转换器
用个性化 PageRank（PPR）对每个节点进行令牌化，并在此令牌列表上应用标准的多头自注意力机制，以计算其节点表示。借助 PPR 令牌化方法，使得以分批加载节点的令牌列表进行图转换器的小批量训练成为可能。此外，通过在结构和内容的基础上创
PDF3 months ago
我们可以通过难样本学得更好吗？
本研究提出一种新型的深度学习算法，该算法利用高误差 mini-batch 学习聚焦于欠表示的样本和复杂模式，并在多个公认数据集上测试，表明其相对于传统 mini-batch 训练方法能够显著提高测试准确性和加速收敛。
PDFa year ago
分析 GNN 中采样对个体公平性的影响
使用小批量训练图神经网络的现有方法提高个体公平性，这对于在推荐系统中应用 GNN 具有重要意义。使用两种 GNN 方法进行评估，证明了利用小批量训练的图神经网络能够实现不仅相当的准确度，而且还能达到更好的公平性，其重要性在于利用局部细节来指
PDF2 years ago
使用快速采样和流水线加速图神经网络的训练和推断
使用邻域采样的小批量训练方法加速图神经网络的训练和推理过程，可在多 GPU 环境下实现。作者采用性能优化的采样器、共享内存并行化的策略以及批量传输与 GPU 计算流水线的方法对算法进行改进，并在多个基准数据集和 GNN 架构上进行了实验，取
PDF3 years ago
KDD巨型图上混合 CPU-GPU 训练的全局邻居采样
这篇论文提出了一种全局节点采样算法，名为 Global Neighborhood Sampling，以满足大规模复杂图的图神经网络训练需求，该算法能使混合 CPU-GPU 训练的高效训练成为可能，并通过实验展现了比传统邻居采样方法更加高效的
PDF3 years ago
闪电般的 ImageNet/ResNet-50 训练：大规模分布式 SGD
使用批次大小控制和标签平滑来解决大批次训练不稳定性问题；使用 2D-Torus all-reduce 解决梯度同步过程中的开销，实现了在 ABC 集群上在 122 秒内训练 ImageNet/ResNet-50 且精度损失不显著的分布式深度
PDF6 years ago
神经机器翻译中小批量创建策略的实证研究
使用小批量进行神经机器翻译模型的训练，通过基于句子长度排序以及简单洗牌的方法来减少必须进行的信息填充，以提高处理速度和提高翻译的质量。
PDF7 years ago