Jun, 2019

使用已学习优化器使模型对输入噪声具有鲁棒性

PDF
TL;DR通过元训练学习的优化器对图像分类模型进行训练，以使其对常见图像污染更加健壮，并且发现这种方法提供了一种有效的改善深度学习模型鲁棒性的方法。
vision modelsimage classificationmeta-trainingoptimizersrobustness
发现论文，激发创造
  • 分布鲁棒模型的元分析

    通过 meta-analysis，我们发现具有良好 OOD 鲁棒性的最佳表现的模型都具有四个共同点，即视觉 - 语言预训练具有巨大的潜力。

    Jun, 2022

  • 从含有噪声标签的数据中学习如何学习

    本文提出一种噪声容忍的训练算法，其中在传统梯度更新之前进行元学习更新来模拟实际训练。通过生成合成噪声标签进行训练，该元学习方法训练模型，以便在使用每个设置的合成噪声标签进行一次梯度更新后，模型不会过度拟合特定的噪声，从而提高深度神经网络的性能。

    Dec, 2018

  • 可扩展且泛化的学习优化器

    通过引入层次循环神经网络优化算法和基于元学习的小任务集，实现了一个新的学习梯度下降优化器，解决了在更大的问题上扩展能力不足和泛化能力受限问题，并在 ImageNet 数据集上通过数千步为 Inception V3 和 ResNet V2 架构进行了优化。

    Mar, 2017

  • 使神经网络对多种图像污染具有鲁棒性的简单方法

    该研究论文证明，通过对图像识别模型进行简单但适当的高斯噪声和斑点噪声训练，可以使其具有更好的泛化能力和对不同类型损坏更强的鲁棒性，并结合敌对训练方法进一步提高性能。

    Jan, 2020

  • 通过协变量转移适应性提高对常见数据损坏的稳健性

    本研究证明：大多数图像较差的基准测试不能很好地衡量图像识别模型在许多场景下的稳健性，因此提出了一种基于非监督在线适应的方法，通过更改模型激活的统计特征来提高模型的稳健性。改进后的模型可在 ImageNet-C 数据集上取得更好的表现。

    Jun, 2020

  • VeLO：通过扩展规模训练多功能学习优化器

    通过与深度学习相同的扩展方法，我们训练一种自适应的深度学习优化器。这个优化器是一个小型神经网络，可摄取梯度并输出参数更新，经过数千个 TPU 月的计算，不需要超参数调整，可以自适应问题进行优化。

    Nov, 2022

  • 构建强鲁棒性、不可察觉的对抗非授权文本 - 图像扩散合成

    为了解决文本到图像扩散模型对抗攻击的问题，本研究提出了 MetaCloak 方法，利用元学习框架和附加的转换采样过程来解决双层毒化问题，从而产生可转移和鲁棒的扰动。通过对 VGGFace2 和 CelebA-HQ 数据集的大量实验证明，MetaCloak 优于现有方法，能够在黑盒方式下成功欺骗 Replicate 等在线训练服务，展示了 MetaCloak 在实际场景中的有效性。

    Nov, 2023

  • 深度学习对大规模标签噪声具有强韧性

    本研究证明，基于深度神经网络的图像分类模型可以从含有数量远多于准确标签的训练数据中进行有效学习，表现出良好的测试性能提升，这种学习需要增加数据集大小作为代价。

    May, 2017

  • 通过域随机化和元学习持续调整视觉表示

    本文提出了一种基于域随机化和元学习的方法，通过对视觉域进行重构以及加入正则项的方式来提高模型的鲁棒性，从而减少在不同领域中的遗忘现象。

    Dec, 2020

  • 使用可信数据训练深度网络处理被严重噪声污染的标签

    本文提出了一种在深度神经网络分类器中使用有信任子集数据以及基于损失修正技术的方法，大大提高了分类器对标签噪声的鲁棒性。实验结果表明，该方法在视觉和自然语言处理任务中均取得了较好的性能表现。

    Feb, 2018