Mar, 2021

通过最小化最大期望损失重量化增广样本

PDF
TL;DR数据增强是一种改善深度神经网络泛化能力的有效技术，本文提出基于最大期望损失的加权数据增强方法，通过加权不同的增强样本，更有效地提高模型的泛化能力。实验证明，该方法可以应用于任何数据增强方法，并显著提高去文本识别和图像分类任务的泛化性能。
data augmentationdeep neural networksweightingmaximal expected lossgeneralization performance
发现论文，激发创造
  • MetaAugment: 样本感知数据增强策略学习

    本文提出了一种以样本为基础的数据增强策略，采用元学习解决数据增强效果与样本间变异之间的平衡问题，并在 CIFAR-10/100、Omniglot、ImageNet 等数据集上通过实验证明了其优越性能。

    Dec, 2020

  • 用乘法重新加权进行神经网络鲁棒性优化

    提出一种使用 MW 重新加权示例的神经网络优化方法，该方法在标签存在噪声的情况下稳健且可提高准确性，同时不会影响其对抗鲁棒性。

    Feb, 2021

  • 通过隐式对抗数据增强提升模型的弹性

    通过融入对抗性和反对抗性扰动分布，增强样本的深度特征，适应性调整学习困难以适应每个样本的特征。同时，开发了一种基于元学习的框架，通过引入增强的效果并跳过显式的增强过程，优化分类器。在长尾学习、广义长尾学习、嘈杂标记学习和子种群转移学习等四种常见偏差学习场景中进行了广泛实验，实证结果表明该方法始终达到最先进的性能水平，突显其广泛适应性。

    Apr, 2024

  • 学习数据操作以进行增强和加权

    本文介绍了一种新的方法，它支持使用相同的梯度算法学习不同的数据操作方案。这种方法基于监督学习和强化学习之间的联系，并调整来自强化学习的现成奖励学习算法，用于联合数据操作学习和模型训练。通过学习文本转换网络和动态适应数据样本重要性来展示数据扩充和数据加权，实验表明所得到的算法明显提高了图像和文本分类的性能。

    Oct, 2019

  • 用最大熵对抗数据增强来提高泛化能力和鲁棒性

    本文提出了基于信息瓶颈原理的最大熵正则化方法用于敌对数据增强，通过扩大模型预测不确定性来产生 “难” 的敌对扰动，提升模型鲁棒性，并在三个基准测试中实现了比现有技术显著的优越性能。

    Oct, 2020

  • 学习为鲁棒的深度学习调整例子的权重

    该研究提出了一种基于元学习和梯度下降的新算法，来对训练样本进行权重分配，从而达到解决深度神经网络在训练集偏差和标签噪声方面的过度拟合问题，而不需要额外的超参数调整，并在少量有干净核准数据的情况下，实现了在类别不平衡和标签污染问题上的出色性能。

    Mar, 2018

  • 数据增强最后一层训练方法的理论保证

    通过线性最后一层重新训练和数据增强，我们针对每个子人群将潜在表示（输入到最后一层的数据）的分布建模为高斯分布，以实现在训练数据的许多不同子人群之间确保公平预测，并达到最优的最差组准确性。我们对合成数据和大型公开数据集进行了评估和验证。

    May, 2024

  • 提高对抗鲁棒性的数据增强修复

    本文研究对抗训练的过拟合问题，提出利用数据增强和生成模型增加训练集大小，提高对抗鲁棒性，并在 CIFAR-10 数据集上取得最新成果，其中对于 Ε=8/255 的 l∞规范扰动，模型不使用外部数据时达到 64.20％的鲁棒准确性，超过了大多数先前使用外部数据的研究成果。

    Mar, 2021

  • AugMax: 随机增强的对抗组合提高训练鲁棒性

    AugMax 是一种数据增强框架，旨在将 DNNs 的鲁棒性的多样性和难度两个方面统一起来。 AugMax 首先随机采样多个增强算子，然后学习所选算子的对抗性混合。 为了解决模型训练更具挑战性的问题，作者进一步设计了一种名为 DuBIN 的解耦归一化模块。 它可以解决由 AugMax 引起的不同实例间特征异质性的问题，并且比现有技术在 CIFAR10-C，CIFAR100-C，Tiny ImageNet-C 和 ImageNet-C 上的超出分布鲁棒性方面表现更好。

    Oct, 2021

  • 最大边缘损失学习不平衡数据集

    本文设计了一种新的最大边距 (MM) 损失函数来解决类不平衡数据中存在的分类不平衡问题，并探讨了两种基于最大边界的决策边界位移方法在 LDAM 训练日程上的表现。

    Jun, 2022