ICLRFeb, 2024

控制方差的自适应采样高效反向传播

PDF
TL;DR通过使用采样算法进行神经网络训练，我们引入了一种方差控制的自适应采样（VCAS）方法，该方法可以在数据和权重梯度计算过程中使用细粒度的分层重要性采样和杠杆得分采样，以加快训练过程并降低计算量。通过在多个任务中进行评估，我们发现 VCAS 可以在保持准确性的同时，减少最高达 73.87% 的 BP 计算量和 49.58% 的整个训练过程计算量。
sampling-based algorithmsneural network trainingvariance-controlled adaptive samplingfine-tuningflops reduction
发现论文，激发创造
  • 基于最小方差的采样方法用于图神经网络的快速训练

    本研究分析了现有采样方法中存在的方差问题，提出了一种基于梯度信息和嵌入逼近的解耦合方差缩减策略，该方法即使在更小的批量尺寸下也具有更快的收敛速度和更好的泛化效果。

    Jun, 2020

  • 随机风险厌恶学习的自适应采样

    在机器学习应用中，我们提出了一种风险规避的训练模型的方法，它通过优化在最难的样本上的表现来提高模型的稳定性和可预测性，关键是利用分布式随机优化算法和结构化行列式点过程进行大规模的学习任务。

    Oct, 2019

  • 用赌徒采样训练图神经网络

    本文提出了一种将采样方差优化视为对手赌博问题，以加速图卷积网络和图注意力网络等图神经网络的训练的方法，并在多个数据集上展示了其有效性和高效性。

    Jun, 2020

  • 自适应采样快速图表示学习

    本研究提出了一种自适应逐层采样方法和跨越较远节点的消息传递方法，以解决图形卷积网络在大规模图中的可扩展性问题，并通过实验验证了其有效性和更快的收敛速度。

    Sep, 2018

  • 分布式重要性采样在 SGD 中的方差减少

    该研究提出一种分布式深度学习框架，其中一组工作者并行搜索最具信息性的示例，而单个工作者则使用重要性抽样方法更新模型。实验证明，当采样提议与梯度的 L2 范数成正比时，该方法可以减少梯度方差，即使在跨机器同步成本不可忽略且重要性抽样因子不会立即更新的情况下也是如此。

    Nov, 2015

  • 主动偏置：通过强调高方差样本训练更准确的神经网络

    本文提出基于样本不确定性轻量级估计的两种改进型随机梯度下降算法：SGD 迭代中正确类别预测概率的方差和与决策阈值的正确类别概率的接近度来重新加权训练样本，实验结果表明我们的方法可靠地提高了各种网络结构的精度，包括残差学习、动量、ADAM、批量标准化、丢弃和蒸馏等其他流行的训练技术所不能达到的额外收益。

    Apr, 2017

  • 基于神经网络的变分增强采样

    使用机器学习技术和变分增强采样方法结合来快速采样自由能面，通过采用神经网络表示偏差来决定采样的参数，在重复学习方案中对其进行确定并打破一些壁垒

    Apr, 2019

  • Favour：一种用于确定不确定性评级的快速方差算子

    本研究提出了一种基于 “尖峰协方差矩阵” 的更加原理性的方差传播框架，可在质量和推理时间之间平滑插值，使得贝叶斯神经网络能够在之前无法触及的性能关键任务领域中使用。

    Nov, 2023

  • 通过历史梯度辅助批大小调整用于方差减小算法

    本文提出了一种适用于 Variance-reduced algorithms 的新型批量大小适应方案，通过历史随机梯度调整批量大小，避免了回溯线性搜索的步骤，有效地减少了 SVRG 和 SARAH/SPIDER 算法的复杂度，并开发了新的收敛分析框架来处理历史随机梯度对批量大小的依赖关系。

    Oct, 2019

  • 面向可视化的大型数据库采样

    提出了可视化感知采样（VAS）方法，通过优化可视化启发式损失函数，从而在保证可视化质量的基础上，实现对大规模数据集的快速采样。实验表明，VAS 相比现有的方法具有更高的成功率和更快的速度，尤其在回归、密度估计和聚类等场景下。

    Oct, 2015