本研究探讨了一种创新的神经网络优化方法，专注于在修剪过程中应用与 StochGradAdam 类似的梯度采样技术。我们的主要目标是在修剪模型时保持高精度水平，这是资源受限场景中的一个重要挑战。我们广泛的实验证明，使用梯度采样技术优化的模型在修剪过程中相对于使用传统优化方法的模型更有效地保持准确性。这一发现强调了梯度采样在促进稳健学习方面的重要性，使得网络即使在复杂度大幅减少后仍能保留关键信息。我们在各种数据集和神经网络结构上验证了我们的方法，展示了其广泛的适用性和有效性。该论文还深入研究了理论方面，解释了梯度采样技术在修剪过程中对模型稳健性的贡献。我们的结果为在计算资源受限的环境中创建不会牺牲准确性的高效神经网络指明了一个有希望的方向。

Dec, 2023

本文介绍针对使用随机梯度下降优化的机器学习模型在训练中可能出现的离群值导致参数偏差问题提出的一种新算法，该算法通过选择一组 k 个样本中当前损失最小的进行更新的方式可以提高模型的健壮性和准确性，可能对于各类由凸损失函数构成的机器学习问题都适用。

Jan, 2020

本文提出了一种评估应用计量经济学结论对样本中很小一部分数据敏感性的方法 —— 近似最大影响摄动法，并提供了有限的样本误差界，发现敏感性取决于推断问题中的信噪比，不会随着渐近逐渐消失，并不是由于错误规范而引起的。

Nov, 2020

通过基于损失值的度量对训练数据进行精心选择，可以改进图像超分辨率模型，挑战更多数据必然导致更好性能的传统观念。

Mar, 2024

本文提出了一种方法，通过在训练深度神经网络时隐藏最不重要的样本，从而提高效率，即减少训练成本。通过在训练过程中使用损失和预测置信度的信息，我们根据样本对整体学习过程的贡献动态地在给定的 epoch 中找到要排除的样本，而不会显著降低准确性。实证结果表明，在各种大规模数据集和图像分类与分割直接使用的模型上，尽管基于替换的重要性抽样算法在大型数据集上效果不佳，我们的方法在仅将准确性降低 0.4% 的情况下，可以将总训练时间缩短高达 22%。可在此 https URL 获取代码。

Oct, 2023

本研究提出了一种基于重要性采样的计算优化方案，该方案能够减少深度神经网络训练过程中冗余计算，提升模型的训练效果并有效降低损失。实验结果显示，该方案能够在相同的时间预算下，将训练损失降低一个数量级，并提高测试误差 5％至 17％。

Mar, 2018

该论文指出样本多样性对于 ODD 检测的关键作用，在此基础上提出一种名为 DOS（多元异常值采样）的采样策略，可以有效地降低平均 FPR95。

Jun, 2023

本文通过实验表明，利用重要性抽样进行策略优化的代价是很高的方差估计，提出了一种名为 “样本丢弃” 的技术，以限制重要性抽样带来的估计方差，并在一些代表性的策略优化算法上应用，如 TRPO、PPO 和 ESPO，实验证明 “样本丢弃” 可以提高这些深度强化学习算法的性能。

Feb, 2023

文章提出了一种基于中位数的方法对样本数据进行操作，构建了一种新的模型 MOM minimizers，相比经典的样本经验风险最小化方法，在处理分类问题上更具有鲁棒性，在满足样本具有有限的二阶矩条件下，得到了 Vapnik（慢速）收敛率，在此基础上提出了一种基于 MOM minimizers 的算法， 通过有效的子采样，减少了非线性算法的计算时间和内存使用， 文章还利用模拟和真实数据对该算法做了详细的实验表现。

Aug, 2018

该研究提出一种分布式深度学习框架，其中一组工作者并行搜索最具信息性的示例，而单个工作者则使用重要性抽样方法更新模型。实验证明，当采样提议与梯度的 L2 范数成正比时，该方法可以减少梯度方差，即使在跨机器同步成本不可忽略且重要性抽样因子不会立即更新的情况下也是如此。

Nov, 2015