通过提出的自适应方法和重要性采样方法，在机器学习框架中有效地整合了重要性函数，并仅通过输出层的损失梯度提出了一个简化的重要性函数，以实现在分类和回归任务中更好的收敛性和最小的计算开销。

Nov, 2023

本文提出了一种基于安全梯度边界的渐近式梯度采样方法。 这种方法是与给定边界相比最好的抽样分布，对于现有算法而言可以实现高效并且能够大幅加速坐标下降和随机梯度下降。经过大量数值测试，所提出的采样方案的高效性得到了验证。

Nov, 2017

本工作提出一种更有效的变分推断算法，该算法采用重要性抽样估计梯度，通过评估近似参数的梯度而无需重新计算模型梯度来加速计算。引入重要性采样的随机梯度下降在一系列模型中优于标准随机梯度下降，同时提供了一种可证明的随机平均梯度变体，可用于变分推断。

Apr, 2017

该研究提出一种分布式深度学习框架，其中一组工作者并行搜索最具信息性的示例，而单个工作者则使用重要性抽样方法更新模型。实验证明，当采样提议与梯度的 L2 范数成正比时，该方法可以减少梯度方差，即使在跨机器同步成本不可忽略且重要性抽样因子不会立即更新的情况下也是如此。

Nov, 2015

本研究提出了一种基于重要性采样的计算优化方案，该方案能够减少深度神经网络训练过程中冗余计算，提升模型的训练效果并有效降低损失。实验结果显示，该方案能够在相同的时间预算下，将训练损失降低一个数量级，并提高测试误差 5％至 17％。

Mar, 2018

本文提出了首个具有重要性采样的导数无关优化方法，并针对非凸、凸和强凸函数推导出新的改进的复杂性结果。作者进行了大量实验，证实该算法在高维连续控制问题中具有实用性。

Feb, 2019

本文提出了一种基于 Heuristic 和 Bandit 反馈的在线优化算法，可以寻找一种重要性采样分布序列，竞争力可以与后见之明得到的最佳固定分布相媲美，并在实验验证中证明了该算法在多个数据集和设置下有效的优点。

Feb, 2018

本文提出了一种新的原始 - 对偶方法（Quartz），用于最小化平滑凸函数的平均值，并受到强凸规则器的惩罚，该方法可用于串行，分布式和并行计算，并且我们分析了这种方法的性能表现，其中一些性能表现 good 。

Nov, 2014

研究了从指数族抽取重要样本的 Monte Carlo 估计器的方差是分布的自然参数的一个凸函数，提出了一种自适应抽样算法，既改善了抽样分布的选择，同时积累了 Monte Carlo 估计结果，利用了凸性，证明了该方法的无偏估计具优越的渐进方差。

Dec, 2014

本文主要研究了随机梯度下降法的线性收敛性，得到了更好的收敛保证，并且阐述了使用重要性采样在其他场景中进一步提高收敛速度的方法。研究基于随机梯度下降法与随机 Kaczmarz 算法之间的联系，可以将各自的研究成果相互借鉴。

Oct, 2013