Mar, 2022

基于自适应阈值的标签噪声数据鲁棒优化方法：自适应 k

PDF
TL;DR本文研究了在含有标签噪音的数据集上，SGD 算法的优化过程会受到噪音样本的影响，从而导致结果不可靠。作者提出了一种名为 Adaptive-k 的替代方法，该方法在优化过程中选择损失小于一个阈值的样本，而不是使用所有的样本。通过理论分析和实验结果，作者表明采用 Adaptive-k 方法可以得到与去除噪音样本的 oracle 模型相近的性能。Adaptive-k 方法简单而有效，不需要事先知道噪音比率，不需要额外的模型训练，也不会显著增加训练时间。
发现论文，激发创造
  • 选择损失最小的样本使 SGD 更加稳健

    本文介绍针对使用随机梯度下降优化的机器学习模型在训练中可能出现的离群值导致参数偏差问题提出的一种新算法，该算法通过选择一组 k 个样本中当前损失最小的进行更新的方式可以提高模型的健壮性和准确性，可能对于各类由凸损失函数构成的机器学习问题都适用。

    Jan, 2020

  • 基于梯度下降的在线无噪声标签深度神经网络鲁棒训练方法

    本文提出了一种新的基于梯度的在线学习方法，名为 OGRS，能够在不改变参数设置的情况下自动选择不同干净比例的数据集中的干净样本，并逐步更新模型参数，具有优异的性能表现。

    Jun, 2023

  • 面向噪声自适应、问题自适应（加速）随机梯度下降

    通过利用指数步长和随机线性搜索等技术，使得随机梯度下降算法适应不同噪声水平和问题相关的常数，可以在强凸函数的条件下，取得与理论最优相近的收敛速度，同时能够有效地处理噪声和数据不凸的情况。

    Oct, 2021

  • 深度学习的鲁棒自适应随机梯度方法

    本文提出了一种自适应学习率算法，该算法利用了损失函数的随机曲率信息自动调整学习率，并且提出了一种新的方差缩减技术以加速收敛，在深度神经网络实验中，相比于流行的随机梯度算法获得了更好的性能。

    Mar, 2017

  • 促进具噪声标签学习中的适应性与平衡

    我们提出了一种名为 SED 的简单而有效的方法，以自适应和类平衡的方式处理标签噪声，通过设计新的样本选择策略来赋予自适应性和类平衡性，利用平均教师模型纠正噪声样本的标签，采用自适应和类平衡的样本重新加权机制为检测到的噪声样本分配不同的权重，并在选择的干净样本上添加一致性正则化以提高模型的泛化性能。

    Jul, 2024

  • KOALA: 具有损失适应性的卡尔曼优化算法

    该研究提出了一种基于卡尔曼滤波器的随机优化算法 KOALA，其将损失函数视为相对于某个理想值的噪声观测，以估计未知参数，并展示了其在训练神经网络方面的高效性和可扩展性。

    Jul, 2021

  • 基于强盗驱动的批次选择以应对标签噪声下的鲁棒学习

    我们引入了一种新颖的方法来选择随机梯度下降（SGD）训练中的批量，利用组合赌博算法。我们的方法主要关注在现实世界数据集中普遍存在的标签噪声的学习过程优化。对 CIFAR-10 数据集的实验评估表明，我们的方法在各种标签污染程度下始终优于现有方法。重要的是，我们在不引入常见辅助神经网络模型的计算开销的情况下实现了这种卓越性能。这项工作在计算效率和模型功效之间达到了平衡，为复杂机器学习应用提供了可扩展的解决方案。

    Oct, 2023

  • 基于噪声率估计的样本选择噪声标签学习

    提出一种能够有效提高 SOTA noisy-label learning 方法性能的新噪声标签学习图模型，该模型能够准确估计噪声率并用于训练过程的样本选择阶段。

    May, 2023

  • 噪声标签的深度 k-NN

    本文通过实证研究表明，在初步模型的 logit 层上实施简单的 k 近邻过滤方法能够去除错误标记的训练数据，比许多最近提出的方法产生更准确的模型，并提供了新的统计保证。

    Apr, 2020

  • 非凸优化中的自适应策略

    本论文主要介绍了一些关于自适应算法的研究工作，包括在随机优化、深度神经网络和非凸优化等方面的应用，提出了新算法并进行了理论和实验分析。其中，SignSGD 算法具有很好的理论性质和性能，并能够自适应地适应平滑性条件。

    Jun, 2023