基于核集的数据独立神经剪枝
该研究提出一种基于 Löwner 椭球体和 Caratheodory 定理的新型、强鲁棒性的框架,在模型权重的温和假设下计算 Coresets,它同时是数据无关的,适用于各种网络和数据集,并得到理论支持。实验结果表明,该方法在各种网络和数据集上的效果优于现有的基于 Coreset 的神经修剪方法。
Sep, 2022
提出了基于 Coresets 的神经网络压缩算法,利用重要性采样方案削减冗余参数并保留重要参数,通过理论分析表明压缩网络的大小和准确性得到保证,并给出了新的一般性界限,对神经网络的泛化特性提供了新视角,并在各种神经网络配置和实际数据集上证明了算法的实际有效性。
Apr, 2018
通过 Coreset 滤波器表示法,我们提出了一种 CNN 压缩算法,不需重新训练,易于实现,在量化和 Huffman 编码的支持下,训练出的网络可以在提供 AlexNet 精度的同时,内存占用只有原始 AlexNet 的 832 分之一,同时还能显著减少推理时间。此外,经过 Fine-Tune 后,这些压缩网络也能成功推广到其他领域。
Jul, 2018
提出了一种基于 coresets 和梯度下降的方法来处理具有噪声标签的深度神经网络的鲁棒性训练问题,并证明该方法不会过拟合噪声标签,实验证明该方法取得了诸如在 CIFAR-10 上以 80%噪声标签训练后,准确度提高了 6%,在 mini Webvision 上准确度提高了 7%的显着优异表现。
Nov, 2020
提出了一种自动实用的框架,用于构建 coreset,该框架不需要进行其他任务相关计算,只需要用户提供输入数据和所需的成本函数,通过将损失函数的近似问题简化为矢量和近似的实例,从而将构建 coreset 的问题转化为矢量和近似的问题。同时,还提供了易于使用的系统,可以从而广泛地应用 coreset 于许多问题上
May, 2023
该文章提出利用 coresets 的方法来对高斯混合模型进行计算,这种方法可以在保证训练精度的情况下减少数据量从而加快计算速度,经验结果表明,该方法可以显著减少训练时间而近似误差可以忽略不计。
Mar, 2017
本文提出一种改进的 coreset 构建方法,利用 sensitivity sampling 技术,并对 VC dimension 类的函数的采样复杂度进行分析,从而能够更加高效地解决包括聚类等在内的机器学习问题。
Dec, 2016
本文研究 coresets 和机器学习领域中的最新进展,提出了一种理论上可行的框架来创建分类问题的 coresets,应用到了 $k$-means 聚类问题,同时总结了当前在 MLE 混合模型、贝叶斯非参数模型、主成分分析、回归和经验风险最小化等领域中已有的 coreset 构建算法。
Mar, 2017
提出了 CREST 框架,基于 coresets 实现了基于非凸优化问题的深度学习模型的高效和可扩展训练,可以通过快速选择最有价值的训练数据子集来提高学习速度,同时保持高精度。
Jun, 2023
提出 AdaCore 方法,该方法利用数据的几何形状,用指数平均估计的 Hessian 近似曲率,选择加权的子集,提供与使用完整数据的梯度预处理的负梯度近似,实现高效的机器学习训练,并对其给出理论支持和证明,相比基线提取的 coresets 质量更高,速度快 2.9 倍以上。
Jul, 2022