学习为鲁棒的深度学习调整例子的权重
通过元训练和在线权重逼近方法，本文旨在解决使用深度神经网络时出现的噪声标签和训练集偏差对模型表现造成的问题，并通过使用充满挑战的不平衡图像数据集进行皮肤癌检测的真实问题来验证这一方法。
May, 2024
本研究提出了一种改进的数据重新加权算法，通过将学生模型的内部状态提供给教师模型并使用元梯度一起训练，以增强学生模型训练的自适应样本权重，并在图像分类和神经机器翻译实验中证明了其显著的改进效果。
Jul, 2020
研究了在机器学习中，每个训练周期都是将梯度步骤视为朝着最小化每个批次的例子的平均损失的方向，其中噪声会导致过度拟合到损失值较大的噪声样本，提出了一种使用指数梯度更新的加权学习方法，适用于一系列噪声类型和应用场景的损失函数。
Apr, 2021
本研究提出了一种学习框架，将元样本选择问题通过严格的理论分析降低到加权 K 均值聚类问题中，提出了两种聚类方法 RBC 和 GBC 以解决 “样本权重不均匀” 问题，并在实际应用中得到了验证。
Feb, 2023
通过提出一种新颖的自适应重新加权方法，该论文旨在消除训练和测试数据之间分布变化对模型普适能力的影响，进而改善算法的公平性和泛化性能。实验证明了该方法在准确性和公平性度量方面的普适性，并突出了对语言和视觉模型公平性改善的性能提升。
Sep, 2023
本文研究如何在模型错配偏差情况下学习线性预测模型。我们提出了一种样本重新加权方法，该方法可以减少输入变量之间的共线性，从而提高设计矩阵的条件，并与任何标准学习方法相结合，用于参数估计和特征选择，进而提高模型在不同分布数据集下的稳定性。
Nov, 2019
本研究提出了一种基于 $f$-divergences 的分布式鲁棒最优化重加权梯度下降技术，通过数据点的重要性加权来提高深度神经网络的性能，该方案具有简单和高效等特点，可用于任何受欢迎的优化算法，并可在诸如分类、噪声标签、领域适应和表格表示学习等各种任务中提高性能。该方法在 DomainBed 和 Tabular 基准测试中的表现比 SOTA 提高了 0.7% 和 1.44%，对 GLUE 基准测试中的 BERT 表现提升了 1.94%，对 ImageNet-1K 中的 ViT 表现提升了 0.9%，证明了该方法的有效性和潜力。
Jun, 2023