标签噪声下和更多情况下的指数梯度加权鲁棒训练

Apr, 2021

标签噪声下和更多情况下的指数梯度加权鲁棒训练

Exponentiated Gradient Reweighting for Robust Training Under Label Noise and Beyond

Negin Majidi, Ehsan Amid, Hossein Talebi, Manfred K. Warmuth

TL;DR研究了在机器学习中，每个训练周期都是将梯度步骤视为朝着最小化每个批次的例子的平均损失的方向，其中噪声会导致过度拟合到损失值较大的噪声样本，提出了一种使用指数梯度更新的加权学习方法，适用于一系列噪声类型和应用场景的损失函数。

Abstract

Many learning tasks in machine learning can be viewed as taking a gradient step towards minimizing the average loss of a batch of examples in each training iteration. When noise is prevalent in the data, this uniform treatment of examples can lead to overfitting to →

machine learning noisy examples expert setting gradient descent noise types

发现论文，激发创造

用乘法重新加权进行神经网络鲁棒性优化

提出一种使用 MW 重新加权示例的神经网络优化方法，该方法在标签存在噪声的情况下稳健且可提高准确性，同时不会影响其对抗鲁棒性。

Feb, 2021

学习为鲁棒的深度学习调整例子的权重

该研究提出了一种基于元学习和梯度下降的新算法，来对训练样本进行权重分配，从而达到解决深度神经网络在训练集偏差和标签噪声方面的过度拟合问题，而不需要额外的超参数调整，并在少量有干净核准数据的情况下，实现了在类别不平衡和标签污染问题上的出色性能。

Mar, 2018

分布式鲁棒优化下的随机重新加权梯度下降

本研究提出了一种基于 $f$-divergences 的分布式鲁棒最优化重加权梯度下降技术，通过数据点的重要性加权来提高深度神经网络的性能，该方案具有简单和高效等特点，可用于任何受欢迎的优化算法，并可在诸如分类、噪声标签、领域适应和表格表示学习等各种任务中提高性能。该方法在 DomainBed 和 Tabular 基准测试中的表现比 SOTA 提高了 0.7% 和 1.44%，对 GLUE 基准测试中的 BERT 表现提升了 1.94%，对 ImageNet-1K 中的 ViT 表现提升了 0.9%，证明了该方法的有效性和潜力。

Jun, 2023

鲁棒梯度下降的高效学习

提出了一种构建稳健风险梯度逼近的算法，在实验中证明可以有效地提高广义学习效率并使用更少的资源，而不会过度依赖于数据。

Jun, 2017

通过 Taylor 展开的随机对抗训练

在此研究中，通过将随机噪声添加到确定性权重中，基于 Taylor 展开设计了一种新的对抗训练方法，可以调和抗干扰性和准确性之间的权衡，同时提高两者的表现。

Mar, 2023

深度学习中学习重新加权示例的重新实现

通过元训练和在线权重逼近方法，本文旨在解决使用深度神经网络时出现的噪声标签和训练集偏差对模型表现造成的问题，并通过使用充满挑战的不平衡图像数据集进行皮肤癌检测的真实问题来验证这一方法。

May, 2024

基于专家知识的加权回归模型在含噪标签中的应用

提出一种用多种专家意见生成标签的新方法，通过学习加权组合来建立预测模型，该方法在模拟和实际数据上表现出优异性能，具有简单，快速和高效的特点，可用于训练多标签回归模型的应用场景。