数据增强最后一层训练方法的理论保证
本文介绍了几种新颖的深度学习训练技术,如广义模型无关课程学习方法和级联加和增强方法,它们不仅能够提高训练效率并改善深度网络训练过程中的优化平滑度、鲁棒性,而且还能够为计算机视觉任务提供更好的预测性能和模型稳健性。
Nov, 2022
在最后一层重新训练中,我们提出了一种针对标签噪音的快速修正方法,通过在潜在最近邻图上进行标签传播,实现了在广泛数据集上对称标签噪音下最差群体准确性的最先进水平。
Jun, 2024
通过仅使用模型选择的族群注释和少数类别注释,最后一层的重新训练可以显著提高最差群组的准确性,而无需额外的数据或注释。此外,我们还引入了一种轻量级方法,即选择性的最后一层微调(SELF),通过使用误分类或不一致性的数据构建了重新加权数据集,实现了在视觉和语言任务的四个基准测试中无需族群注释和少于 3%的保留类别注释即可与 DFR 相媲美。
Sep, 2023
本研究探讨了在已知或未知数据组之间表现良好的分类器的学习问题。研究发现,在常见的最差群组准确率数据集中存在重大不平衡,因此对比了最先进的方法与通过数据的子采样或重新加权来平衡类和组的简单数据平衡基线。结果表明,这些数据平衡基线的准确性达到了最先进水平,并且训练速度更快,不需要额外的超参数。此外,本研究强调,访问组信息对于模型选择很关键,但在训练过程中重要性不太高。总之,我们的发现呼吁更仔细地研究最差群组准确度优化的基准和方法。
Oct, 2021
数据增强是一种改善深度神经网络泛化能力的有效技术,本文提出基于最大期望损失的加权数据增强方法,通过加权不同的增强样本,更有效地提高模型的泛化能力。实验证明,该方法可以应用于任何数据增强方法,并显著提高去文本识别和图像分类任务的泛化性能。
Mar, 2021
本研究通过设计自定义的优化程序,提出一种新的较低的边缘似然下限,部分成功地在标准基准测试、低数据范围和医学图像数据集上进行了推理,但在 CIFAR10 数据集上表现出失败模式,该研究表明,当更复杂的逼近方法可用时,边缘似然是神经网络中不变性学习的有前途的方法之一。
Jun, 2021
本文研究对抗训练的过拟合问题,提出利用数据增强和生成模型增加训练集大小,提高对抗鲁棒性,并在 CIFAR-10 数据集上取得最新成果,其中对于 Ε=8/255 的 l∞规范扰动,模型不使用外部数据时达到 64.20%的鲁棒准确性,超过了大多数先前使用外部数据的研究成果。
Mar, 2021
本文提出了一种新方法,通过在特征空间中使用来自具有丰富样本的类别所学习的特征来增强特征空间中的欠表示类别,从而解决长尾分布问题。通过使用类别激活映射,将每个类别的特征分解为类别通用和类别特定部分,并将欠表示类别的类别特定特征与混淆类别的类别通用特征融合,实时生成新样本。结果表明,在 iNaturalist、ImageNet-LT、Places-LT 以及 CIFAR 的长尾版本等数据集上,本文所提出的方法展现了最先进的表现水平。
Aug, 2020