CVPRMar, 2024
通过在难样本上进行元学习以提高泛化能力
Improving Generalization via Meta-Learning on Hard Samples
Nishant Jain, Arun S. Suggala, Pradeep Shenoy
TL;DR学习重加权（LRW）方法用优化准则分配训练实例权重，以在代表性验证数据集上最大化性能。我们提出并形式化了在 LRW 训练中优化选择验证集的问题，以提高分类器的泛化能力。使用难以分类的实例作为验证集，在理论上与实证的有效性存在强烈的关联。我们提供了一种有效的算法来训练这种元优化模型，并提出了一种简单的两次训练启发式方法进行比较研究。我们证明相对于易用验证数据的 LRW，具有难度验证数据的 LRW 表现一致更差，从而验证了我们元优化问题的有效性。我们的算法在一系列数据集和域偏移挑战（Imagenet-1K，CIFAR-100，Clothing-1M，CAMELYON，WILDS 等）上优于广泛的基线，通过在 Imagenet 上使用 VIT-B 获得了约 1％的增益。我们还展示了在 LRW 的训练中使用自然难的示例（Imagenet-R/Imagenet-A）能够在干净和自然难的测试实例上分别提高 1-2％的性能。次要分析显示，在 LRW 框架中使用难度验证数据可以提高测试数据的边界，暗示了我们实证增益背后的机制。我们认为这项工作为监督学习环境中元学习的元优化开辟了新的研究方向。