Jun, 2024

关于形状偏差、准确性和鲁棒性之间关系的澄清

PDF
TL;DR通过评估 39 种数据增强类型对广泛使用的 OOD 数据集的影响，证明了每种数据增强对模型对 OOD 数据的鲁棒性的影响，并进一步证明了所述假设不成立；形状偏差的增加不一定导致更高的 OOD 鲁棒性。通过分析结果，还发现 ImageNet-1K 数据集中的一些偏差可以通过适当的数据增强来减小。我们的评估结果进一步表明，域内准确性和 OOD 鲁棒性之间不一定存在权衡，选择适当的增强方法可以同时提高域内准确性和 OOD 鲁棒性。
deep learning modelsdata augmentationood robustnessshape biasimagenet-1k dataset
发现论文，激发创造
  • 增强的形状偏差能否提高神经网络对常见污染的鲁棒性？

    通过对自然图像进行样式和边缘特征的处理，对卷积神经网络进行数据增强可以减少纹理偏差并增加形状偏差，从而提高其鲁棒性。

    Apr, 2021

  • 广泛但不健壮？比较数据修改方法对领域外泛化和对抗鲁棒性的影响

    本文通过研究数据修正、数据增强、去偏、数据过滤等方法对模型泛化到未知领域和对抗鲁棒性的影响，发现数据的增加（通过增加数据集或数据增强）能够提高模型在未知领域下的准确性和抗干扰能力，而数据过滤则会减少针对特定任务的准确性。

    Mar, 2022

  • 稳健性的多重面貌：对于越界泛化的关键分析

    本研究介绍了四个新的现实世界分布变化数据集，重点探讨了先前提出的改进模型鲁棒性方法，并测试了它们的有效性。我们发现使用更大的模型和人工数据增强可以提高真实世界分布变化的鲁棒性，这与之前的研究不同。我们的研究结果表明，未来的研究必须同时研究多个分布变化，因为我们证明评估的方法不能始终提高模型的鲁棒性。

    Jun, 2020

  • 计算机视觉中模型鲁棒性的傅里叶视角

    计算机视觉中，通过数据增强方式可以提高鲁棒性，但增加高斯数据增强和对抗训练等方法并不能保证所有的污染类型都能同样得到提高，因此需要使用更多样的数据增强方式来缓解这些折衷。最近提出的 AutoAugment 方法在清晰精度和鲁棒性方面均得到了最佳表现。

    Jun, 2019

  • 使用越界数据消除不良特征贡献

    提出了一种使用缺乏伪标签和数据分布限制的无分布数据进行数据增强的方法，以改善神经网络的推理泛化能力，并在 CIFAR-10，CIFAR-100 和 ImageNet 的子集上进行了实验证明。

    Jan, 2021

  • 仅进行数据增强即可改善对抗训练

    本文证明了，与先前的研究相反，仅凭借数据增强，可以显着提高对抗训练的准确性和鲁棒性，数据增强的多样性和难度是提高训练效果的重要因素。作者提出了新的数据增强方案，并通过实验验证，达到了对抗训练中数据增强的最佳效果。

    Jan, 2023

  • 通过生成数据集实现强健分类：让现实留给想象

    本文研究了生成数据集对图像分类器自然鲁棒性的影响，发现与标准训练和流行的数据增强策略相比，使用真实数据和生成数据相结合进行训练可以提高 Imagenet 分类器的准确性和鲁棒性，同时分析了不同因素对结果的影响，并介绍了 ImageNet-G-v1 数据集。

    Feb, 2023

  • 数据增强能提高稳健性

    本文研究减轻对抗训练中的过拟合现象，使用常见的数据增强方案，证明数据增强与模型平均结合可以显著提高鲁棒性，尤其是空间组合技术的效果最佳，最终在 CIFAR-10、CIFAR-100、SVHN 和 TinyImageNet 上得到了明显的性能提升。

    Nov, 2021

  • PixMix：梦幻般的图片全面提高安全措施

    机器学习领域的研究论文，介绍了一项新的数据增强策略，通过利用图片的自然结构复杂性如分形等，改善了机器学习系统的稳定性和性能表现，提高了安全措施并在多个方面取得了极为优秀的结果。

    Dec, 2021

  • 提高对抗鲁棒性的数据增强修复

    本文研究对抗训练的过拟合问题，提出利用数据增强和生成模型增加训练集大小，提高对抗鲁棒性，并在 CIFAR-10 数据集上取得最新成果，其中对于 Ε=8/255 的 l∞规范扰动，模型不使用外部数据时达到 64.20％的鲁棒准确性，超过了大多数先前使用外部数据的研究成果。

    Mar, 2021