Sep, 2023

从鲁棒性视角理解数据增强

PDF
TL;DR在视觉识别领域，数据增强作为一种关键技术可以增加模型的鲁棒性。本文从理论和实证的角度探讨数据增强的机制，揭示了其在模型鲁棒性中的作用，并通过实验证明了这些技术主要通过中高级游戏交互来刺激。此外，我们的研究还涵盖了多个数据集和各种增强技术，强调了我们的发现在各种情况下的普适性。通过揭示一个简化的代理方法，我们不仅能简化鲁棒性评估，还能深入了解模型游戏交互的固有动态及其与整体系统鲁棒性的关系。这些洞察力为重新评估视觉识别任务中的模型安全性和鲁棒性提供了新的透视。
visual recognitiondata augmentationmodel robustnessgame theorysystem robustness
发现论文，激发创造
  • 通过数据增强提高深度神经网络的鲁棒性 ——MixBoost

    通过可解释的人工智能方法，探索数据增强方法的内在机制并提出了一种用于模型鲁棒性的代理，在内在机制分析的基础上，我们开发了一种基于掩码的增压方法，它综合提高了几种人工智能模型的鲁棒性测量，同时应用于许多流行的数据增强方法。

    Dec, 2022

  • 数据增强的群论框架

    本文提出了一种理论框架，证明了数据增强等效于对保持数据分布近似不变的某一群轨道的平均操作，从而能够减少方差，研究了经验风险最小化、指数族、线性回归和某些双层神经网络这些领域中数据增强的应用。

    Jul, 2019

  • 数据增强综述

    数据增强是一系列通过操作现有数据样本生成高质量人工数据的技术，利用数据增强技术可以显著提高人工智能模型在涉及稀缺或不平衡数据集的任务中的适用性，从而大大提高模型的泛化能力。本文提出了一个更具启发性的分类法，该分类法涵盖了不同常见数据形式的数据增强技术，并通过一种统一的归纳方法对这些方法进行了分类。

    May, 2024

  • 计算机视觉中模型鲁棒性的傅里叶视角

    计算机视觉中，通过数据增强方式可以提高鲁棒性，但增加高斯数据增强和对抗训练等方法并不能保证所有的污染类型都能同样得到提高，因此需要使用更多样的数据增强方式来缓解这些折衷。最近提出的 AutoAugment 方法在清晰精度和鲁棒性方面均得到了最佳表现。

    Jun, 2019

  • 深度强化学习中的数据增强再探

    各种数据增强技术在基于图像的深度强化学习中已被提出。通过分析现有方法，我们可以更好地理解它们及其不同组件的效果，并确定如何更好地利用数据增强。此分析表明了如何通过选择不同的数据增强变换来计算目标 Q 值，以更加有原则地利用数据增强。此外，我们提出了一种名为切线传递（tangent prop）的正则化项，在若干领域中验证了我们的论点，并且与不同基准模型相比，在大多数环境中取得了最先进的性能，并在某些复杂环境中展现了更高的样本效率和更好的泛化能力。

    Feb, 2024

  • 学习数据有效的具有表征不变性的动作识别

    使用不同的数据增强策略对视频进行数据增强，结合现有的半监督学习框架，能够在低标签模式下提高 Kinetics-100/400, Mini-Something-v2, UCF-101 和 HMDB-51 数据集的性能，并在完全监督的情况下证明提高了性能。

    Mar, 2021

  • 提高对抗鲁棒性的数据增强修复

    本文研究对抗训练的过拟合问题，提出利用数据增强和生成模型增加训练集大小，提高对抗鲁棒性，并在 CIFAR-10 数据集上取得最新成果，其中对于 Ε=8/255 的 l∞规范扰动，模型不使用外部数据时达到 64.20％的鲁棒准确性，超过了大多数先前使用外部数据的研究成果。

    Mar, 2021

  • 常见数据增强对视觉解释的鲁棒性

    本文研究了后续可解释性方法对自然发生的转换形式（即增强）的响应，发现不同的可解释性方法在稳定性上存在显著差异，并提供证据表明，不论数据增强是否用于训练中，在增强方面的解释通常不如分类性能稳健。

    Apr, 2023

  • 数据增强再探讨：重新审视干净数据和扩充数据之间的分布差距

    利用数据增强作为正则化方式，我们从解析角度重新考虑了数据增强在深度神经网络中的泛化问题，并发现它显著降低了模型泛化误差，但同时也导致略微增加了经验风险。使用较少的数据对完整增强的数据进行训练能够帮助模型更好地收敛于更好的区域，从而进一步提高准确性。

    Sep, 2019

  • 亲和力和多样性：量化数据增强机制

    本文提出一种衡量数据增强对于深度神经网络训练中模型泛化能力的量化方法：亲和力和多样性；研究发现，优化两者均可提高模型性能。

    Feb, 2020