ICLROct, 2022

高裁剪率下基于覆盖率的核心集选择

PDF
TL;DR本文研究一次性 coreset 选择，提出一种新的度量方法来度量训练数据集在特定分布下的覆盖率，将整体数据覆盖率与每个样本的重要性同时考虑，提出了 Coverage-centric Coreset Selection（CCS）方法，利用 CCS 在高精简率（例如 90%）时得到的精度显著高于之前的 SOTA 方法以及随机选择方法，并且在低精简率时具有类似的精度。
发现论文，激发创造
  • 基于重复学习的在线核心集选择

    本文介绍了一个在线核心集选择算法（Online Coreset Selection），通过该算法可以从数据集中选择最具代表性和信息量最大的样本，从而来改善连续学习过程中的遗忘问题，提高模型的效果和效率。该算法在多个标准、不平衡和有噪声的数据集上得到了验证，并且相对于其他算法具有更好的抗遗忘特性和样本利用率。

    Jun, 2021

  • 具有优先多目标的核心集选择

    深度学习算法中，通过核心集选择来减少计算成本和加速数据处理。在满足模型性能的前提下，通过优先级顺序，我们提出了一种创新方法来选择尽可能小的核心集，以更低的成本和更高的加速度实现更好的模型性能。

    Nov, 2023

  • 目标检测的核心集选择

    使用 Coreset Selection for Object Detection (CSOD) 方法，在考虑代表性和多样性的前提下，选择一小部分具有代表性和多样性的图像，以提高目标检测的准确性。

    Apr, 2024

  • 基于核集的数据独立神经剪枝

    这篇论文提出了一种基于 coreset 方法的神经剪枝算法，可在不影响准确性的情况下压缩神经网络，并在 MNIST 数据集上进行了实验。

    Jul, 2019

  • DeepCore: 深度学习中数据子集选择的全面库

    本文提出 DeepCore 库，并对目前主要的 coreset 选择方法在 CIFAR10 和 ImageNet 数据集上进行了实证研究，结果表明，虽然各种方法在某些实验设置上具有优势，但随机选择仍然是一个强有力的基准。

    Apr, 2022

  • 通过核集和凸几何剪枝神经网络：无假设化

    该研究提出一种基于 Löwner 椭球体和 Caratheodory 定理的新型、强鲁棒性的框架，在模型权重的温和假设下计算 Coresets，它同时是数据无关的，适用于各种网络和数据集，并得到理论支持。实验结果表明，该方法在各种网络和数据集上的效果优于现有的基于 Coreset 的神经修剪方法。

    Sep, 2022

  • D2 剪枝：数据剪枝中的信息传递平衡多样性和难度

    通过使用 D2 修剪算法，将数据集表示为无向图，并进行前向和反向消息传递，综合考虑数据的多样性和难度评分来选择 Coreset，该方法在多个视觉和语言数据集上超越了现有最先进方法的 Coreset 选择效果，对于剪枝率高达 70%，使用 D2 修剪算法来过滤大型多模态数据集可以增加数据集的多样性并改善预训练模型的一般化能力。

    Oct, 2023

  • 机器学习实用核心集构建

    本文研究 coresets 和机器学习领域中的最新进展，提出了一种理论上可行的框架来创建分类问题的 coresets，应用到了 $k$-means 聚类问题，同时总结了当前在 MLE 混合模型、贝叶斯非参数模型、主成分分析、回归和经验风险最小化等领域中已有的 coreset 构建算法。

    Mar, 2017

  • 重复随机抽样减少学习时间达到准确性

    本文研究了训练神经网络的数据选择方法，提出了一种名为 RS2 的方法，利用随机抽样的方式显著提高了数据训练的效率，并在四个数据集上得到了验证。

    May, 2023

  • 基于统计学视角的 Coreset 密度估计

    该研究通过对 coresets 的研究，建立了一个统计框架，分析了非参数密度估计等任务的最小最大估计率，并表明实际 coreset 核密度估计器在很大程度上是接近最小最大优化的。

    Nov, 2020