深度神经网络的子模块批次选择
这篇研究探讨了深度神经网路的随机非凸优化方法中，通过在线选择 “分组数据量”（Batch）来加速学习的策略，提出了一种基于最新数据偏差排名的算法，并在 MNIST 数据集上实验证明，可以加速 AdaDelta 和 Adam 等方法的学习效率。
Nov, 2015
深度神经网络模型对多标签数据进行分类，然而在构建小批量时，类别不平衡导致模型对多数标签偏向，本研究引入了适用于多标签深度学习模型的简单且有效的自适应批量选择算法，优先选择与少数标签相关的困难样本，实验证明我们的方法比随机批量选择更快地收敛并且性能更好。
Mar, 2024
通过提出一种新颖的分布式界限算法，并使用多轮基于分区的分布式贪心算法，此论文解决了子集选择问题，能够在没有或极小损失质量的情况下，找到高质量的子集。
Feb, 2024
我们提出了第一个用于最大化非负单调可分解次模函数的小批量算法，在一组约束条件下。我们在理论和实践上都优于基于稀疏化方法的方法。我们在实验中观察到，我们的算法生成的解比基于稀疏化方法生成的解要好得多。
Jan, 2024
现代机器学习模型对大型数据集的卓越成功往往需要大量的训练时间和资源消耗，为了节省成本，一种被广泛研究的方法是在线批次选择，在训练过程中选择信息量较大的子集。然而，现有的方法依赖于额外的参考模型，限制了它们的实际应用，因为这样理想的模型并不总是可用。为了解决这一困境，我们提出了一种无需参考模型的多样化批次选择算法（DivBS），可以有效地选择多样化和代表性的样本。我们定义了一种新的选择目标，以组间正交的代表性来衡量样本冗余问题，并提供了一个有原则的高效选择实现。通过各种任务的广泛实验证明了 DivBS 在性能和加速度之间的显着优势。代码公开可用。
Jun, 2024
通过子模最大化算法，我们设计了一个通用的、灵活的核心选择例程，可在使用最少内存的情况下从数据流中提取最有价值的子集，并在 ImageNet 和 MNIST 的学习任务中表现出了优于随机选择的性能
Jan, 2022
我们引入了一种新颖的方法来选择随机梯度下降（SGD）训练中的批量，利用组合赌博算法。我们的方法主要关注在现实世界数据集中普遍存在的标签噪声的学习过程优化。对 CIFAR-10 数据集的实验评估表明，我们的方法在各种标签污染程度下始终优于现有方法。重要的是，我们在不引入常见辅助神经网络模型的计算开销的情况下实现了这种卓越性能。这项工作在计算效率和模型功效之间达到了平衡，为复杂机器学习应用提供了可扩展的解决方案。
Oct, 2023
本文介绍了一种自适应子抽样方法 AdaSelection，能够快速训练大规模深度学习模型，同时不会牺牲模型性能，该方法能够灵活地组合任意数量的基准子抽样方法，并在每次迭代中结合方法级重要性和内部方法样本级重要性，我们通过在不同类型的输入和任务上进行分类任务测试以及回归任务测试来展示我们的方法的有效性。与业界标准基线相比，AdaSelection 始终显示出优异的性能。
Jun, 2023
本文提出一种针对子模函数的数据学习算法，可用于数据概括、特征选择和主动学习等机器学习领域。通过将贪婪最大化算法的输出解释为项目序列的分布，本文提出一种可微的方式对模型进行优化。实证研究表明，该方法对解决实际场景中的推荐和图像概括等问题有较好的效果。
Mar, 2018