Oct, 2020

用最大熵对抗数据增强来提高泛化能力和鲁棒性

PDF
TL;DR本文提出了基于信息瓶颈原理的最大熵正则化方法用于敌对数据增强，通过扩大模型预测不确定性来产生 “难” 的敌对扰动，提升模型鲁棒性，并在三个基准测试中实现了比现有技术显著的优越性能。
adversarial data augmentationrobust deep neural networksmaximum-entropy formulationmodel robustnessinformation bottleneck principle
发现论文，激发创造
  • 通过隐式对抗数据增强提升模型的弹性

    通过融入对抗性和反对抗性扰动分布，增强样本的深度特征，适应性调整学习困难以适应每个样本的特征。同时，开发了一种基于元学习的框架，通过引入增强的效果并跳过显式的增强过程，优化分类器。在长尾学习、广义长尾学习、嘈杂标记学习和子种群转移学习等四种常见偏差学习场景中进行了广泛实验，实证结果表明该方法始终达到最先进的性能水平，突显其广泛适应性。

    Apr, 2024

  • AugMax: 随机增强的对抗组合提高训练鲁棒性

    AugMax 是一种数据增强框架，旨在将 DNNs 的鲁棒性的多样性和难度两个方面统一起来。 AugMax 首先随机采样多个增强算子，然后学习所选算子的对抗性混合。 为了解决模型训练更具挑战性的问题，作者进一步设计了一种名为 DuBIN 的解耦归一化模块。 它可以解决由 AugMax 引起的不同实例间特征异质性的问题，并且比现有技术在 CIFAR10-C，CIFAR100-C，Tiny ImageNet-C 和 ImageNet-C 上的超出分布鲁棒性方面表现更好。

    Oct, 2021

  • 提高对抗鲁棒性的数据增强修复

    本文研究对抗训练的过拟合问题，提出利用数据增强和生成模型增加训练集大小，提高对抗鲁棒性，并在 CIFAR-10 数据集上取得最新成果，其中对于 Ε=8/255 的 l∞规范扰动，模型不使用外部数据时达到 64.20％的鲁棒准确性，超过了大多数先前使用外部数据的研究成果。

    Mar, 2021

  • 针对自然扰动的属性引导对抗训练

    本文提出了一种基于对抗训练的方法，用于使深度神经网络具有对各种自然产生的扰动的鲁棒性，解决了当前小像素级扰动方法的不足，关键在于最大化分类器对属性空间的曝光度。

    Dec, 2020

  • 通过对抗数据增强方法泛化到未见领域

    该篇研究论文提出了一个基于循环迭代的数据增强方法，使用虚构的目标领域中存在 “困难” 样本的数据来训练学习模型，以在先前未知的目标领域上实现更好的一般化表现。该方法利用对抗性示例以及数据依赖正则化来提高模型性能。

    May, 2018

  • 仅进行数据增强即可改善对抗训练

    本文证明了，与先前的研究相反，仅凭借数据增强，可以显着提高对抗训练的准确性和鲁棒性，数据增强的多样性和难度是提高训练效果的重要因素。作者提出了新的数据增强方案，并通过实验验证，达到了对抗训练中数据增强的最佳效果。

    Jan, 2023

  • 对抗样本可作为无监督机器学习的有效数据增强

    本研究提出一种生成无监督模型的对抗性示例的框架，使用相互信息神经估计器作为无监督信息理论相似度测量，建议使用此框架将对抗性样本作为简单的插入数据增强工具进行模型再训练，以大幅提高在不同无监督任务和数据集上的性能。

    Mar, 2021

  • 联合优化数据增强和网络训练：对抗数据增强在人体姿势估计中的应用

    提出对抗数据增强方法来优化神经网络模型的训练，通过生成难度较高的增强操作来让网络进行学习，实现训练的同时进行数据增强，对人体姿势估计问题进行实验测试，证明该方法能够显著提高模型性能而不需要额外的数据增强。

    May, 2018

  • 加强深度度量学习的对抗鲁棒性

    本文提出了一种基于 Hardness Manipulation 和 Gradual Adversary 的深度度量学习模型的对抗鲁棒性方法，并通过实验证明其在鲁棒性、训练效率和性能方面均优于现有防御方案。

    Mar, 2022

  • 数据增强能提高稳健性

    本文研究减轻对抗训练中的过拟合现象，使用常见的数据增强方案，证明数据增强与模型平均结合可以显著提高鲁棒性，尤其是空间组合技术的效果最佳，最终在 CIFAR-10、CIFAR-100、SVHN 和 TinyImageNet 上得到了明显的性能提升。

    Nov, 2021