通过提出的自适应方法和重要性采样方法，在机器学习框架中有效地整合了重要性函数，并仅通过输出层的损失梯度提出了一个简化的重要性函数，以实现在分类和回归任务中更好的收敛性和最小的计算开销。

Nov, 2023

本文提出了一种基于梯度的自适应抽样策略，对比以往仅根据输入数据独立抽样的方法，该策略结合了输出变量，实现了在处理最小二乘问题时更高的统计效率和计算效率。理论分析证明了其抽样误差上限的改善，而实验证实了该方法的有效性。

Mar, 2018

本文研究了使用重要性抽样的随机优化算法，特别是使用重要性抽样的 Prox-SGD 和 Prox-SDCA，并提供广泛的理论分析和实验证明，使用所提出的重要性抽样方法可以显着提高收敛速度。

Jan, 2014

本文提出了一种梯度信息的基于 SMC（和特例 Population Monte Carlo）的重要性采样算法，以解决传统 MCMC 方法的收敛速度问题。

Jul, 2015

本工作提出一种更有效的变分推断算法，该算法采用重要性抽样估计梯度，通过评估近似参数的梯度而无需重新计算模型梯度来加速计算。引入重要性采样的随机梯度下降在一系列模型中优于标准随机梯度下降，同时提供了一种可证明的随机平均梯度变体，可用于变分推断。

Apr, 2017

本研究提出了一种基于重要性采样的计算优化方案，该方案能够减少深度神经网络训练过程中冗余计算，提升模型的训练效果并有效降低损失。实验结果显示，该方案能够在相同的时间预算下，将训练损失降低一个数量级，并提高测试误差 5％至 17％。

Mar, 2018

该研究提出一种分布式深度学习框架，其中一组工作者并行搜索最具信息性的示例，而单个工作者则使用重要性抽样方法更新模型。实验证明，当采样提议与梯度的 L2 范数成正比时，该方法可以减少梯度方差，即使在跨机器同步成本不可忽略且重要性抽样因子不会立即更新的情况下也是如此。

Nov, 2015

本文提出一种有效的计算深度学习模型中 loss value 的方法，它使用小型模型在并行训练时提高了深度学习优化中重要抽样的应用。结果表明，此方法在测试深度卷积和递归神经网络的图像分类和语言建模任务时取得了良好的普适性。

May, 2017

本文提出了首个具有重要性采样的导数无关优化方法，并针对非凸、凸和强凸函数推导出新的改进的复杂性结果。作者进行了大量实验，证实该算法在高维连续控制问题中具有实用性。

Feb, 2019

本文提出一种自适应算法，通过迭代地更新混合重要性采样密度的权重和组分参数，以优化重要性采样性能，该方法适用于广泛类别的重要性采样密度，包括特别是多元学生 t 分布的混合物，实验表明，该算法在人工和实际例子上的表现都很好，并且特别突出了一个新颖的 Rao-Blackwellisation 装置的好处，该装置可以轻松地纳入更新方案中。

Oct, 2007