ICMLMar, 2018

并非所有样本都是相等的：使用重要性采样的深度学习

PDF
TL;DR本研究提出了一种基于重要性采样的计算优化方案，该方案能够减少深度神经网络训练过程中冗余计算，提升模型的训练效果并有效降低损失。实验结果显示，该方案能够在相同的时间预算下，将训练损失降低一个数量级，并提高测试误差 5％至 17％。
deep neural network trainingimportance samplingstochastic gradientscnn fine-tuningrnn training
发现论文，激发创造
  • 分布式重要性采样在 SGD 中的方差减少

    该研究提出一种分布式深度学习框架，其中一组工作者并行搜索最具信息性的示例，而单个工作者则使用重要性抽样方法更新模型。实验证明，当采样提议与梯度的 L2 范数成正比时，该方法可以减少梯度方差，即使在跨机器同步成本不可忽略且重要性抽样因子不会立即更新的情况下也是如此。

    Nov, 2015

  • 深度神经网络训练的有偏重要性采样

    本文提出一种有效的计算深度学习模型中 loss value 的方法，它使用小型模型在并行训练时提高了深度学习优化中重要抽样的应用。结果表明，此方法在测试深度卷积和递归神经网络的图像分类和语言建模任务时取得了良好的普适性。

    May, 2017

  • 自适应采样与重要性采样的高效梯度估计

    通过提出的自适应方法和重要性采样方法，在机器学习框架中有效地整合了重要性函数，并仅通过输出层的损失梯度提出了一个简化的重要性函数，以实现在分类和回归任务中更好的收敛性和最小的计算开销。

    Nov, 2023

  • 重要性采样随机优化在变分推断中的应用

    本工作提出一种更有效的变分推断算法，该算法采用重要性抽样估计梯度，通过评估近似参数的梯度而无需重新计算模型梯度来加速计算。引入重要性采样的随机梯度下降在一系列模型中优于标准随机梯度下降，同时提供了一种可证明的随机平均梯度变体，可用于变分推断。

    Apr, 2017

  • SwiftLearn: 使用重要抽样的深度学习模型高效训练方法

    SwiftLearn 是一种数据高效的方法，通过在训练的暖启动阶段选择一部分数据样本加速深度学习模型的训练，实现减少训练时间。实验结果表明，在各种计算机视觉和自然语言处理模型的预训练和微调过程中，通过减少训练样本数量可以保持模型性能，并实现显著的加速效果，如 BERT 在 GLUE 基准上可以降低近 90% 的数据，从而实现平均加速比为 3.36 倍，且平均准确度下降小于 0.92%。

    Nov, 2023

  • FIS-GAN：基于流式重要性采样的 GAN

    本文探讨了在生成式对抗网络训练中使用重要性采样方法进行优化的可能性。通过使用重要性采样来替代在潜空间使用均匀分布或高斯分布采样的方法，并利用正则化流来近似潜空间后验分布进行密度估计，结合 MNIST 和 Fashion-MNIST 的实验表明该方法有效提高了生成样本的优化速度且保持了视觉上的保真度。

    Oct, 2019

  • 安全自适应重要性采样

    本文提出了一种基于安全梯度边界的渐近式梯度采样方法。 这种方法是与给定边界相比最好的抽样分布，对于现有算法而言可以实现高效并且能够大幅加速坐标下降和随机梯度下降。经过大量数值测试，所提出的采样方案的高效性得到了验证。

    Nov, 2017

  • 重要性采样的随机优化

    本文研究了使用重要性抽样的随机优化算法，特别是使用重要性抽样的 Prox-SGD 和 Prox-SDCA，并提供广泛的理论分析和实验证明，使用所提出的重要性抽样方法可以显着提高收敛速度。

    Jan, 2014

  • KAKURENBO：深度神经网络训练中的自适应样本隐藏

    本文提出了一种方法，通过在训练深度神经网络时隐藏最不重要的样本，从而提高效率，即减少训练成本。通过在训练过程中使用损失和预测置信度的信息，我们根据样本对整体学习过程的贡献动态地在给定的 epoch 中找到要排除的样本，而不会显著降低准确性。实证结果表明，在各种大规模数据集和图像分类与分割直接使用的模型上，尽管基于替换的重要性抽样算法在大型数据集上效果不佳，我们的方法在仅将准确性降低 0.4% 的情况下，可以将总训练时间缩短高达 22%。可在此 https URL 获取代码。

    Oct, 2023

  • 使用神经网络偏差势加速稀有事件采样

    该研究论文介绍了一种将重要性抽样与深度神经网络相结合的实用方法，提高了稀有事件的采样效率，并在计算物理学和材料科学领域对稀有事件进行了研究和比较。

    Jan, 2024