Mar, 2024

少数精华：加速和增强数据重新加权与核心集选择

PDF
TL;DR我们介绍了一种新颖的方法，通过核心子集选择进行重新加权，从而在计算时间和模型性能方面实现了优化，从而实现了计算效率和模型准确性之间的平衡。实验结果证实了这种方法的有效性，突出了它作为可扩展和精确的模型训练解决方案的潜力。
machine learningcomputational efficiencymodel accuracycore subset selectionmodel training
发现论文，激发创造
  • 分布式机器学习的鲁棒性核心集构建

    该文章提出了一种稳健的 coreset 构建算法，在中心化和分布式框架下生成符合一定理论条件的 coreset，以支持各类机器学习问题的高效求解。实验证明该算法具有较强的健壮性。

    Apr, 2019

  • 具有优先多目标的核心集选择

    深度学习算法中，通过核心集选择来减少计算成本和加速数据处理。在满足模型性能的前提下，通过优先级顺序，我们提出了一种创新方法来选择尽可能小的核心集，以更低的成本和更高的加速度实现更好的模型性能。

    Nov, 2023

  • 机器学习实用核心集构建

    本文研究 coresets 和机器学习领域中的最新进展，提出了一种理论上可行的框架来创建分类问题的 coresets，应用到了 $k$-means 聚类问题，同时总结了当前在 MLE 混合模型、贝叶斯非参数模型、主成分分析、回归和经验风险最小化等领域中已有的 coreset 构建算法。

    Mar, 2017

  • 概率双层核心集选择

    本研究提出了一种连续概率双层形式的核心集选择方法，通过学习每个训练样本的概率权重，该方法在标签噪声和类别不平衡情形下表现出优越性。

    Jan, 2023

  • 通过 Coresets 大规模训练高斯混合模型

    该文章提出利用 coresets 的方法来对高斯混合模型进行计算，这种方法可以在保证训练精度的情况下减少数据量从而加快计算速度，经验结果表明，该方法可以显著减少训练时间而近似误差可以忽略不计。

    Mar, 2017

  • DeepCore: 深度学习中数据子集选择的全面库

    本文提出 DeepCore 库，并对目前主要的 coreset 选择方法在 CIFAR10 和 ImageNet 数据集上进行了实证研究，结果表明，虽然各种方法在某些实验设置上具有优势，但随机选择仍然是一个强有力的基准。

    Apr, 2022

  • 用可证明的泛化加速量子机器学习模型的核心选择

    通过选择核心集合来优化量子神经网络和量子内核的训练效率，研究分析了通过核心集合训练的量子神经网络和量子内核的泛化误差界限，并通过数值模拟揭示了核心集合选择在合成数据分类、量子相关性识别和量子编译等任务中的潜力。该研究提供了一种改进多样的量子机器学习模型并减少训练成本的有效方法。

    Sep, 2023

  • 用于高效数据处理的自适应二阶子集算法

    提出 AdaCore 方法，该方法利用数据的几何形状，用指数平均估计的 Hessian 近似曲率，选择加权的子集，提供与使用完整数据的梯度预处理的负梯度近似，实现高效的机器学习训练，并对其给出理论支持和证明，相比基线提取的 coresets 质量更高，速度快 2.9 倍以上。

    Jul, 2022

  • 一种基于加权 K-Center 算法的数据子集选择

    基于深度学习的子集选择方法，通过结合高不确定性的边缘采样和多样性聚类方法的加权和来计算子集，并通过并行算法在大数据集上取得了类似或更好的性能表现。

    Dec, 2023

  • 基于统计学视角的 Coreset 密度估计

    该研究通过对 coresets 的研究，建立了一个统计框架，分析了非参数密度估计等任务的最小最大估计率，并表明实际 coreset 核密度估计器在很大程度上是接近最小最大优化的。

    Nov, 2020