Jul, 2022

用于高效数据处理的自适应二阶子集算法

PDF
TL;DR提出 AdaCore 方法，该方法利用数据的几何形状，用指数平均估计的 Hessian 近似曲率，选择加权的子集，提供与使用完整数据的梯度预处理的负梯度近似，实现高效的机器学习训练，并对其给出理论支持和证明，相比基线提取的 coresets 质量更高，速度快 2.9 倍以上。
data-efficient training methodsadacorehessiancoresetsmachine learning models
发现论文，激发创造
  • 朝向可持续学习：用于数据高效深度学习的核心集

    提出了 CREST 框架，基于 coresets 实现了基于非凸优化问题的深度学习模型的高效和可扩展训练，可以通过快速选择最有价值的训练数据子集来提高学习速度，同时保持高精度。

    Jun, 2023

  • 少数精华：加速和增强数据重新加权与核心集选择

    我们介绍了一种新颖的方法，通过核心子集选择进行重新加权，从而在计算时间和模型性能方面实现了优化，从而实现了计算效率和模型准确性之间的平衡。实验结果证实了这种方法的有效性，突出了它作为可扩展和精确的模型训练解决方案的潜力。

    Mar, 2024

  • 分布式机器学习的鲁棒性核心集构建

    该文章提出了一种稳健的 coreset 构建算法，在中心化和分布式框架下生成符合一定理论条件的 coreset，以支持各类机器学习问题的高效求解。实验证明该算法具有较强的健壮性。

    Apr, 2019

  • 通过 Coresets 大规模训练高斯混合模型

    该文章提出利用 coresets 的方法来对高斯混合模型进行计算，这种方法可以在保证训练精度的情况下减少数据量从而加快计算速度，经验结果表明，该方法可以显著减少训练时间而近似误差可以忽略不计。

    Mar, 2017

  • 通过核集和凸几何剪枝神经网络：无假设化

    该研究提出一种基于 Löwner 椭球体和 Caratheodory 定理的新型、强鲁棒性的框架，在模型权重的温和假设下计算 Coresets，它同时是数据无关的，适用于各种网络和数据集，并得到理论支持。实验结果表明，该方法在各种网络和数据集上的效果优于现有的基于 Coreset 的神经修剪方法。

    Sep, 2022

  • 基于核集的数据独立神经剪枝

    这篇论文提出了一种基于 coreset 方法的神经剪枝算法，可在不影响准确性的情况下压缩神经网络，并在 MNIST 数据集上进行了实验。

    Jul, 2019

  • 针对噪声标签的神经网络鲁棒训练核心集

    提出了一种基于 coresets 和梯度下降的方法来处理具有噪声标签的深度神经网络的鲁棒性训练问题，并证明该方法不会过拟合噪声标签，实验证明该方法取得了诸如在 CIFAR-10 上以 80％噪声标签训练后，准确度提高了 6％，在 mini Webvision 上准确度提高了 7％的显着优异表现。

    Nov, 2020

  • AutoCoreset: 自动实用的 Coreset 构建框架

    提出了一种自动实用的框架，用于构建 coreset，该框架不需要进行其他任务相关计算，只需要用户提供输入数据和所需的成本函数，通过将损失函数的近似问题简化为矢量和近似的实例，从而将构建 coreset 的问题转化为矢量和近似的问题。同时，还提供了易于使用的系统，可以从而广泛地应用 coreset 于许多问题上

    May, 2023

  • 机器学习实用核心集构建

    本文研究 coresets 和机器学习领域中的最新进展，提出了一种理论上可行的框架来创建分类问题的 coresets，应用到了 $k$-means 聚类问题，同时总结了当前在 MLE 混合模型、贝叶斯非参数模型、主成分分析、回归和经验风险最小化等领域中已有的 coreset 构建算法。

    Mar, 2017

  • 利用多目标进化算法揭示分类问题的核心集

    本文介绍了一种基于多目标进化算法的新型候选核心集优化方法，该方法可以同时最小化点集数量和分类误差，实验结果表明该方法比现有的核心集发现技术具有更好的性能。

    Feb, 2020