ICLRJan, 2022

通用重新加权为何不优于 ERM

PDF
TL;DR本文介绍了一种名为广义重加权算法（GRW）的类别，它通过迭代地重新加权训练样本来更新模型参数。我们发现在采用 GRW 算法的过拟合模型下，所得到的模型与采用 Empirical risk minimization 得到的模型非常相似。此外，在 GRW 算法不使用小规则化方法的情况下，得到的结果也是不尽如人意的，我们需要更多的探索与研究。
empirical risk minimizationdistributional shiftgeneralized reweighting algorithmsoverparameterized modelsdistributionally robust generalization
发现论文，激发创造
  • 排名与重新加权改善组分布鲁棒性

    本文提出了一种基于 Discounted Cumulative Gain（DCG）评估模型质量的方法，并建议了 Discounted Rank Upweighting（DRU）训练方法以提高模型的品质，在实验中结果表明，这种基于组排名的训练方法能够选择和学习出对组分布性变化具有鲁棒性的模型。

    May, 2023

  • 模型无关样本重新加权用于数据集外学习

    提出一种方法（MAPLE），通过样本重新加权，处理机器学习模型的过度拟合问题，特别针对过度参数化的情况，从而有效提高模型的超出分布的泛化能力。

    Jan, 2023

  • 不平衡学习中加权重和对数调整的统一概化分析

    通过对失衡学习的概括分析和数据依赖性收缩等技术，建立了一个精细的不平衡学习泛化界限，进一步揭示了重新加权和逻辑调整的原理，并开发了一个基于理论洞察的原则学习算法。

    Oct, 2023

  • 分布式鲁棒优化下的随机重新加权梯度下降

    本研究提出了一种基于 $f$-divergences 的分布式鲁棒最优化重加权梯度下降技术，通过数据点的重要性加权来提高深度神经网络的性能，该方案具有简单和高效等特点，可用于任何受欢迎的优化算法，并可在诸如分类、噪声标签、领域适应和表格表示学习等各种任务中提高性能。该方法在 DomainBed 和 Tabular 基准测试中的表现比 SOTA 提高了 0.7% 和 1.44%，对 GLUE 基准测试中的 BERT 表现提升了 1.94%，对 ImageNet-1K 中的 ViT 表现提升了 0.9%，证明了该方法的有效性和潜力。

    Jun, 2023

  • 利用神经特征获得增强的组鲁棒性

    本文提出了一种基于 Gram 矩阵的特征提取模型对训练数据集进行分组的方法，通过伪分组采用鲁棒优化策略来提高模型的容错性能，在没有真实分组标签的情况下证明其在提高模型鲁棒性方面的优越性，并优于最近的所有基线模型。

    Aug, 2022

  • 使用 Gibbs 算法表征和理解传递学习的泛化误差

    本研究对基于 Gibbs 的转移学习算法的泛化能力进行了信息论分析，结果表明转移学习的好处可以看作是源分布引起的偏差和目标样本不足引起的方差的权衡。

    Nov, 2021

  • 专注于共同利益：团体分布稳健性的追求

    本论文探讨的是使用组注释的数据进行分类模型训练的问题，提出了一个新的算法，旨在通过鼓励学习跨各种组共享的特征来提高少数族裔的性能。通过在标准基准测试中进行实证研究，证明了本文提出的算法在不同组别和少数族裔上的表现要好于 ERM 和 Group-DRO 等强基线。同时，论文也从理论上证明了所提出算法是一种下降方法，并且可以找到平稳点。

    Oct, 2021

  • 基于差分隐私的加权经验风险最小化程序及其在结果加权学习中的应用

    将差分隐私应用于加权经验风险最小化，提出了第一个具备严格理论证明的差分隐私加权经验风险最小化算法，并评估了在真实临床试验中的可行性和性能。

    Jul, 2023

  • 自动特征重新加权的简单快速群体鲁棒性

    本文提出了自动特征重新加权 (AFR) 方法，使用加权损失重新训练模型的最后一层来减少对非目标相关的模式的依赖，并在几个视觉和自然语言分类基准测试中获得了最佳结果。

    Jun, 2023

  • 基于重新加权的类内鲁棒优化的群体公平正则化

    提出一种融合分布式鲁棒优化（DRO）框架和公平度量的基于迭代优化算法的方法，称为 FairDRO，通过自动产生正确的重新加权为每个组来最小化该方法，实验结果显示我们的方法在准确性公平交换上，相对于近期的强基线方法在多项基准数据集上表现出具有实现性和易适应性的状态表现。

    Mar, 2023