基于普适难度指标的样本权重调整理解

KDDJan, 2023

基于普适难度指标的样本权重调整理解

Understanding Difficulty-based Sample Weighting with a Universal Difficulty Measure

Xiaoling Zhou, Ou Wu, Weiyao Zhu, Ziyang Liang

TL;DR本研究证明了样本的泛化误差可以作为普适的难度度量，进一步提供了关于基于难度加权的有效性的正式理论证据，显示了其对深度模型优化动态和泛化性能的积极影响，具有指导现有加权方案的作用。

Abstract

sample weighting is widely used in deep learning. A large number of weighting methods essentially utilize the learning difficulty of training samples to calculate their weights. In this study, this scheme is call

sample weighting deep learning difficulty-based weighting optimization dynamics generalization performance

发现论文，激发创造

Difficulty-Net: 学习长尾识别的难度预测

该研究提出了一个名为 Difficulty-Net 的模型，使用元学习框架来预测长尾数据集中难度较大的类别，利用相对难度和驱动器损失来指导学习，并且在多个长尾数据集中取得了最先进的性能。

Sep, 2022

解决类别不平衡问题的类别难度平衡损失

本文提出了一种名为 Class-wise Difficulty-Balanced loss 的新型损失函数，该函数根据模型感知到的类别难度动态分配样本权重，实验表明该损失函数在图像和视频数据集上均优于其他类别不平衡损失函数。

Oct, 2020

重要性加权生成网络

该研究介绍了基于重要性加权算法的深度生成网络，该算法可以在无法直接访问目标分布的情况下，估计与目标分布相对的损失函数，并在理论和实践上表现出色。

Jun, 2018

基于类别难度的长尾视觉识别方法

该研究旨在解决长尾型样本数据集中头部类别的偏差问题。通过设计一种基于实时测量类别难度的加权损失函数和数据采样技术来缓解偏差，并在多项任务上进行验证，包括图像分类、目标检测、实例分割和视频动作分类。在 ImageNet-LT、LVIS 和 EGTEA 等长尾型数据集上实现了最先进的效果。

Jul, 2022

学习统一的样本权重网络进行目标检测

该研究提出了一种基于样本权重网络的通用损失函数和样本权重预测方法，能够有效地提高基于区域的物体检测器的检测准确率。

Jun, 2020

跨模态匹配的通用加权度量学习

本文提出了一种基于通用加权框架的新型多项式损失函数，该框架适用于异构特征的跨模态匹配，并成功应用于两个图像 - 文本匹配基准和两个视频 - 文本匹配基准。

Oct, 2020

多重损失加权与变异系数

本文提出了一种利用方差系数确定权重，进而平衡单任务的多个损失函数的方法，并在深度估计和语义分割任务上进行了实验证明了可行性。

Sep, 2020

数据集难度与归纳偏差的作用

通过对随机和受控因素的比较，我们发现例子排名在不同的训练运行、评分方法和模型架构间存在很大的一致性。同时，我们还开发了一种简单的方法来使用一些敏感的例子对模型架构进行指纹识别。这些发现指导从业者在最大化评分一致性方面（例如通过选择适当的评分方法、运行次数和例子子集）并为将来评估评分建立全面的基准。

Jan, 2024

模型无关的泛化困难度度量

该研究提出了第一个与模型无关的任务内在泛化难度度量，称为归纳偏差复杂度度量，该度量可以应用于计算和比较监督学习、增强学习和元学习的泛化难度。

May, 2023

度量优化的例子权重

提出使用带权损失函数和标准损失函数来处理复杂测试度量和数据分布不一致问题，并且权重可以学习适应任何测试指标，公式支持的各个实际场景和标准数据集的实验结果表明该方法的性能得到重大改善并且还提供了一种方法的一般化范围。

May, 2018