BriefGPT.xyz
Sep, 2023
GraB-sampler: 基于排列的最优PyTorch SGD数据采样器
GraB-sampler: Optimal Permutation-based SGD Data Sampler for PyTorch
HTML
PDF
Guanghao Wei
TL;DR
这篇论文介绍了一个高效的Python库，GraB-sampler，它让大家可以轻松使用GraB算法，并提出了5种GraB算法的变体。最佳性能结果能够复现训练损失和测试准确率结果，只增加了8.7%的训练时间开销和0.85%的GPU内存使用开销。
Abstract
The online
gradient balancing
(GraB) algorithm greedily choosing the examples ordering by solving the
herding problem
using per-sample gradients is proved to be the theoretically optimal solution that guarantees
→