Sep, 2022

通过核集和凸几何剪枝神经网络：无假设化

PDF
TL;DR该研究提出一种基于 Löwner 椭球体和 Caratheodory 定理的新型、强鲁棒性的框架，在模型权重的温和假设下计算 Coresets，它同时是数据无关的，适用于各种网络和数据集，并得到理论支持。实验结果表明，该方法在各种网络和数据集上的效果优于现有的基于 Coreset 的神经修剪方法。
发现论文，激发创造
  • 基于核集的数据独立神经剪枝

    这篇论文提出了一种基于 coreset 方法的神经剪枝算法，可在不影响准确性的情况下压缩神经网络，并在 MNIST 数据集上进行了实验。

    Jul, 2019

  • 应用于推广限制的神经网络压缩数据相关聚类

    提出了基于 Coresets 的神经网络压缩算法，利用重要性采样方案削减冗余参数并保留重要参数，通过理论分析表明压缩网络的大小和准确性得到保证，并给出了新的一般性界限，对神经网络的泛化特性提供了新视角，并在各种神经网络配置和实际数据集上证明了算法的实际有效性。

    Apr, 2018

  • 针对噪声标签的神经网络鲁棒训练核心集

    提出了一种基于 coresets 和梯度下降的方法来处理具有噪声标签的深度神经网络的鲁棒性训练问题，并证明该方法不会过拟合噪声标签，实验证明该方法取得了诸如在 CIFAR-10 上以 80％噪声标签训练后，准确度提高了 6％，在 mini Webvision 上准确度提高了 7％的显着优异表现。

    Nov, 2020

  • 基于样本核心集的神经网络压缩

    通过 Coreset 滤波器表示法，我们提出了一种 CNN 压缩算法，不需重新训练，易于实现，在量化和 Huffman 编码的支持下，训练出的网络可以在提供 AlexNet 精度的同时，内存占用只有原始 AlexNet 的 832 分之一，同时还能显著减少推理时间。此外，经过 Fine-Tune 后，这些压缩网络也能成功推广到其他领域。

    Jul, 2018

  • AutoCoreset: 自动实用的 Coreset 构建框架

    提出了一种自动实用的框架，用于构建 coreset，该框架不需要进行其他任务相关计算，只需要用户提供输入数据和所需的成本函数，通过将损失函数的近似问题简化为矢量和近似的实例，从而将构建 coreset 的问题转化为矢量和近似的问题。同时，还提供了易于使用的系统，可以从而广泛地应用 coreset 于许多问题上

    May, 2023

  • 朝向可持续学习：用于数据高效深度学习的核心集

    提出了 CREST 框架，基于 coresets 实现了基于非凸优化问题的深度学习模型的高效和可扩展训练，可以通过快速选择最有价值的训练数据子集来提高学习速度，同时保持高精度。

    Jun, 2023

  • 通过 Coresets 大规模训练高斯混合模型

    该文章提出利用 coresets 的方法来对高斯混合模型进行计算，这种方法可以在保证训练精度的情况下减少数据量从而加快计算速度，经验结果表明，该方法可以显著减少训练时间而近似误差可以忽略不计。

    Mar, 2017

  • 机器学习实用核心集构建

    本文研究 coresets 和机器学习领域中的最新进展，提出了一种理论上可行的框架来创建分类问题的 coresets，应用到了 $k$-means 聚类问题，同时总结了当前在 MLE 混合模型、贝叶斯非参数模型、主成分分析、回归和经验风险最小化等领域中已有的 coreset 构建算法。

    Mar, 2017

  • 用于高效数据处理的自适应二阶子集算法

    提出 AdaCore 方法，该方法利用数据的几何形状，用指数平均估计的 Hessian 近似曲率，选择加权的子集，提供与使用完整数据的梯度预处理的负梯度近似，实现高效的机器学习训练，并对其给出理论支持和证明，相比基线提取的 coresets 质量更高，速度快 2.9 倍以上。

    Jul, 2022

  • 基于轻量级核心集的可扩展 k 均值聚类

    提出了一种轻量级 coresets 算法，用于 k-means 聚类和 Bregman 聚类，能同时允许乘性和加性误差，在计算效率和结果集大小方面优于现有方法，并可用于统计 k-means 聚类的计算小型模型的摘要。

    Feb, 2017