研究了在机器学习中，每个训练周期都是将梯度步骤视为朝着最小化每个批次的例子的平均损失的方向，其中噪声会导致过度拟合到损失值较大的噪声样本，提出了一种使用指数梯度更新的加权学习方法，适用于一系列噪声类型和应用场景的损失函数。

Apr, 2021

该研究提出了一种基于元学习和梯度下降的新算法，来对训练样本进行权重分配，从而达到解决深度神经网络在训练集偏差和标签噪声方面的过度拟合问题，而不需要额外的超参数调整，并在少量有干净核准数据的情况下，实现了在类别不平衡和标签污染问题上的出色性能。

Mar, 2018

通过元训练和在线权重逼近方法，本文旨在解决使用深度神经网络时出现的噪声标签和训练集偏差对模型表现造成的问题，并通过使用充满挑战的不平衡图像数据集进行皮肤癌检测的真实问题来验证这一方法。

May, 2024

研究发现，神经网络在存在噪声或不正确标签的情况下，往往会记住有关噪声的信息。为了减少这种记忆现象，提高泛化能力，本文提出使用一个辅助网络来训练，并利用 Shannon 互信息量化记忆的信息量。在 MNIST、CIFAR-10、CIFAR-100 和 Clothing1M 等数据集上验证了该算法的有效性。

Feb, 2020

本文提出了一种基于元学习的标签纠正框架（MLC），旨在解决数据训练集中标签嘈杂或不确定性等问题，通过调整权重甚至直接纠正嘈杂标签来优化训练。在文本分类等任务中验证了该方法的有效性。

Nov, 2019

本研究提出了一种基于 $f$-divergences 的分布式鲁棒最优化重加权梯度下降技术，通过数据点的重要性加权来提高深度神经网络的性能，该方案具有简单和高效等特点，可用于任何受欢迎的优化算法，并可在诸如分类、噪声标签、领域适应和表格表示学习等各种任务中提高性能。该方法在 DomainBed 和 Tabular 基准测试中的表现比 SOTA 提高了 0.7% 和 1.44%，对 GLUE 基准测试中的 BERT 表现提升了 1.94%，对 ImageNet-1K 中的 ViT 表现提升了 0.9%，证明了该方法的有效性和潜力。

Jun, 2023

本文提出随机加权方法（包括随机损失权重和随机梯度权重），并进行了收敛性分析和实证评估，结果表明随机加权方法具有可比拟的性能和更好的泛化能力，是多任务学习的重要基线方法之一。

Nov, 2021

数据增强是一种改善深度神经网络泛化能力的有效技术，本文提出基于最大期望损失的加权数据增强方法，通过加权不同的增强样本，更有效地提高模型的泛化能力。实验证明，该方法可以应用于任何数据增强方法，并显著提高去文本识别和图像分类任务的泛化性能。

Mar, 2021

本文介绍一种基于深度学习技术的 Ubiquitous Reweighting Network (URNet) 模型，利用大规模有噪数据学习图像分类模型，可解决在在线数据中存在的类别不平衡、数据噪声等问题，提升数据偏差和噪声对图像分类的影响，从而在 WebVision 2018 挑战中取得了第一名。

Nov, 2018

应用自适应例子权重学习方法来优化一个由混淆矩阵黑盒函数定义的分类度量函数，实验结果表明该方法在各种应用场景下表现优异。

Feb, 2021