Nov, 2020

针对噪声标签的神经网络鲁棒训练核心集

PDF
TL;DR提出了一种基于 coresets 和梯度下降的方法来处理具有噪声标签的深度神经网络的鲁棒性训练问题，并证明该方法不会过拟合噪声标签，实验证明该方法取得了诸如在 CIFAR-10 上以 80％噪声标签训练后，准确度提高了 6％，在 mini Webvision 上准确度提高了 7％的显着优异表现。
neural networksnoisy labelsrobust trainingcoresetsgradient descent
发现论文，激发创造
  • 通过核集和凸几何剪枝神经网络：无假设化

    该研究提出一种基于 Löwner 椭球体和 Caratheodory 定理的新型、强鲁棒性的框架，在模型权重的温和假设下计算 Coresets，它同时是数据无关的，适用于各种网络和数据集，并得到理论支持。实验结果表明，该方法在各种网络和数据集上的效果优于现有的基于 Coreset 的神经修剪方法。

    Sep, 2022

  • 分布式机器学习的鲁棒性核心集构建

    该文章提出了一种稳健的 coreset 构建算法，在中心化和分布式框架下生成符合一定理论条件的 coreset，以支持各类机器学习问题的高效求解。实验证明该算法具有较强的健壮性。

    Apr, 2019

  • 基于核集的数据独立神经剪枝

    这篇论文提出了一种基于 coreset 方法的神经剪枝算法，可在不影响准确性的情况下压缩神经网络，并在 MNIST 数据集上进行了实验。

    Jul, 2019

  • 训练深度判别神经网络对抗标签噪声的鲁棒性

    该论文提出了一种基于无标签干扰数据集训练深度卷积神经网络的新型框架，并使用一个无向图模型来描述干净和嘈杂标签之间的关系，在监督学习过程中学习这个模型。该模型在图像标注问题上应用，并在 CIFAR-10 和 MS COCO 数据集上展示出有效的标注效果和在训练中实现了减少标签噪声的效果。

    May, 2017

  • 通过 Coresets 大规模训练高斯混合模型

    该文章提出利用 coresets 的方法来对高斯混合模型进行计算，这种方法可以在保证训练精度的情况下减少数据量从而加快计算速度，经验结果表明，该方法可以显著减少训练时间而近似误差可以忽略不计。

    Mar, 2017

  • 基于示例筛选的实例相关标签噪声学习

    本文提出 CORES^2（COnfidence REgularized Sample Sieve）滤除具有实例依赖标签噪声的数据集中的错误标签样本，实现不需要确定噪声比率，可显著提高 DNN 模型的性能和训练效率。

    Oct, 2020

  • 朝向可持续学习：用于数据高效深度学习的核心集

    提出了 CREST 框架，基于 coresets 实现了基于非凸优化问题的深度学习模型的高效和可扩展训练，可以通过快速选择最有价值的训练数据子集来提高学习速度，同时保持高精度。

    Jun, 2023

  • 深度学习对大规模标签噪声具有强韧性

    本研究证明，基于深度神经网络的图像分类模型可以从含有数量远多于准确标签的训练数据中进行有效学习，表现出良好的测试性能提升，这种学习需要增加数据集大小作为代价。

    May, 2017

  • 使用软标签的合成样本减轻噪声监督

    通过使用混合模型从局部损失分布学习样本权重，我们提出了一种利用合成样本训练模型的框架来减轻噪音标签影响，并通过逐渐修正噪音标签估计软目标，得到了更为准确的近似真实标签和更加独立和清晰界定的聚类，实验证明我们的方法在两个基准数据集 (CIFAR-10 和 CIFAR-100) 及两个大规模真实世界数据集 (Clothing1M 和 Webvision) 上优于现有技术方法且具备可靠的学习表达能力。

    Jun, 2024

  • 用可证明的泛化加速量子机器学习模型的核心选择

    通过选择核心集合来优化量子神经网络和量子内核的训练效率，研究分析了通过核心集合训练的量子神经网络和量子内核的泛化误差界限，并通过数值模拟揭示了核心集合选择在合成数据分类、量子相关性识别和量子编译等任务中的潜力。该研究提供了一种改进多样的量子机器学习模型并减少训练成本的有效方法。

    Sep, 2023