Oct, 2023

RK-core: 数据集中层次结构探索的已建立方法学

PDF
TL;DR最近，机器学习领域已经从以模型为中心转向以数据为中心，通过积累更广泛的数据集，便于在这些数据集上训练更大型的模型，我们引入一种先进的方法 RK-core，以增进对数据集内复杂的层次结构的更深入了解。我们发现，核心性值较低的样本在各自类别中具有较低的代表性，而核心性值较高的样本则表现出更高的代表性。与之相关的是，核心性值较高的样本在性能上比核心性值较低的样本做出更实质的贡献。在此基础上，我们进一步运用 RK-core 来分析不同 coreset 选择方法下样本的层次结构。令人惊讶的是，高质量的 coreset 应该表现出层次多样性而不仅仅是代表性样本。
machine learningdata-centricrk-corehierarchical structurecoreset selection
发现论文，激发创造
  • DeepCore: 深度学习中数据子集选择的全面库

    本文提出 DeepCore 库，并对目前主要的 coreset 选择方法在 CIFAR10 和 ImageNet 数据集上进行了实证研究，结果表明，虽然各种方法在某些实验设置上具有优势，但随机选择仍然是一个强有力的基准。

    Apr, 2022

  • 机器学习实用核心集构建

    本文研究 coresets 和机器学习领域中的最新进展，提出了一种理论上可行的框架来创建分类问题的 coresets，应用到了 $k$-means 聚类问题，同时总结了当前在 MLE 混合模型、贝叶斯非参数模型、主成分分析、回归和经验风险最小化等领域中已有的 coreset 构建算法。

    Mar, 2017

  • 分布式机器学习的鲁棒性核心集构建

    该文章提出了一种稳健的 coreset 构建算法，在中心化和分布式框架下生成符合一定理论条件的 coreset，以支持各类机器学习问题的高效求解。实验证明该算法具有较强的健壮性。

    Apr, 2019

  • 基于统计学视角的 Coreset 密度估计

    该研究通过对 coresets 的研究，建立了一个统计框架，分析了非参数密度估计等任务的最小最大估计率，并表明实际 coreset 核密度估计器在很大程度上是接近最小最大优化的。

    Nov, 2020

  • 多层网络的 FirmCore 分解

    本文提出一种新的算法 FirmCore，用于在多层网络中寻找密集的子图，并证明了它具有类似于 k-cores 在单层图中表现出的优秀性质，可以在多项式时间内运行，并且可以用于有效地进行最密子图的近似算法。

    Aug, 2022

  • 深度特征的贡献维度结构对于核心集选择的影响

    通过引入一种新的贡献维度结构 (CDS) 度量，我们的方法增强了五种经典选择方法，提高了模型的性能。在三个数据集上的实验表明，我们的方法对现有方法具有普遍的有效性。

    Jan, 2024

  • 一种基于加权 K-Center 算法的数据子集选择

    基于深度学习的子集选择方法，通过结合高不确定性的边缘采样和多样性聚类方法的加权和来计算子集，并通过并行算法在大数据集上取得了类似或更好的性能表现。

    Dec, 2023

  • 用于高效数据处理的自适应二阶子集算法

    提出 AdaCore 方法，该方法利用数据的几何形状，用指数平均估计的 Hessian 近似曲率，选择加权的子集，提供与使用完整数据的梯度预处理的负梯度近似，实现高效的机器学习训练，并对其给出理论支持和证明，相比基线提取的 coresets 质量更高，速度快 2.9 倍以上。

    Jul, 2022

  • 核心集的辩护：一种密度感知的主动学习核心集选择

    通过密度感知和局部敏感哈希等方法，提出了一种基于多样性和难度的主动学习方法 (DACS)，可以通过选择含有更多信息的稀疏区域样本，有效地构建一个有标签的数据集，实验证明其能在分类和回归任务中实现同类最先进的性能。

    Jun, 2022

  • 一次性核心集：k - 聚类的情形

    本文介绍了一种构建用于 k 聚类问题的一次性数据汇总摘要的有效算法，从而同时为范围广泛的聚类问题构建小型数据摘要且具备强有力的理论保证。

    Nov, 2017