通过多分辨率学习提高深度卷积神经网络的稳健性

Sep, 2023

通过多分辨率学习提高深度卷积神经网络的稳健性

Improving Robustness of Deep Convolutional Neural Networks via Multiresolution Learning

Hongyan Zhou, Yao Liang

TL;DR当前的深度学习学习过程，无论使用何种深度神经网络 (DNN) 架构和 / 或学习算法，本质上是单分辨率训练。我们探索多分辨率学习并表明，多分辨率学习可以显著提高 DNN 模型在一维信号和二维信号 (图像) 预测问题中的鲁棒性。我们不仅在噪声和对抗性鲁棒性方面展示了这种改进，而且在小训练数据集大小情况下也得到了改进。我们的结果还表明，通过多分辨率学习，不必以标准准确度换取鲁棒性，这与传统的单分辨率学习环境的观察结果相反。

Abstract

The current learning process of deep learning, regardless of any deep neural network (DNN) architecture and/or learning algorithm used, is essentially a single resolution training. We explore multiresolution learning

deep learning multiresolution learning robustness dnn models adversarial robustness

发现论文，激发创造

深度卷积神经网络的鲁棒性建模的系统方法

卷积神经网络在大量标记数据可用时表现出广泛的适用性，然而近期的研究为更大规模的模型是否能够推广到受控训练和测试集之外的数据提出了质疑。本文研究了 ResNet 模型中隐藏层数量对 MNIST、CIFAR10 和 CIFAR100 数据集的影响，并通过使用特制样本逼近期望的失败率来测试模型的预测能力和计算成本，发现更大规模的模型在提高对抗鲁棒性方面并没有显著帮助，但训练成本却显著增加。

Jan, 2024

多分辨率卷积记忆的序列建模

我们提出一种基于多分辨率分析的序列模型，通过引入 multiresolution 卷积来捕捉输入序列的多尺度趋势，该模型性能优异，适用于各种序列分类和密度估计任务。

May, 2023

用于密集预测任务的密集连接多扩张卷积网络

本文介绍了一种新的用于高分辨率密集预测的卷积神经网络架构，称为 D3Net，其采用了多分辨率学习和逐渐膨胀的感受野来同时建模局部和全局模式，避免了深度网络中的深度耗散问题，并在图像和音频处理任务中取得了优越的性能。

Nov, 2020

多重残差网络：提高残差网络的速度和准确性

本文提出了一种新的卷积神经网络架构，该架构通过扩展残差网络的层数，明确利用非常深网络的集成表现，并使模型变宽而不是更深，从而显著提高了准确性。受多元残差网络的并行结构启发，本研究还探讨了一种模型并行技术，该技术使残差块的计算分布在处理器之间，计算复杂度提高了 15%。最后，我们证明了我们模型在 ImageNet 分类数据集上优于大多数现有模型的表现。

Sep, 2016

卷积神经网络的强健性和可迁移性研究

对现代深度卷积网络（CNN）未能在分布漂移下推广的问题进行了研究，并探究了预备数据量、模型规模和数据处理流程对迁移性能的影响，发现增加训练集和模型大小显著提高了分布偏移鲁棒性，同时是非常简单的预处理，如修改图像分辨率在某些情况下可以显著缓解鲁棒性问题。最后，我们提出了一个新的综合数据集 SI-Score 进行了系统的分析。

Jul, 2020

准确性和鲁棒性是否相关？

通过利用深度卷积神经网络生成对抗性样本，然后比较不同的生成技术在产生图像质量和测试机器学习模型鲁棒性方面的差异，最后在跨模型对抗迁移上进行了大规模实验，研究结果表明对抗性样本在相似的网络拓扑间是可传递的，并且更好的机器学习模型更不容易受到对抗性样本的攻击。

Oct, 2016

人类与深度神经网络的泛化能力

通过对三种著名的深度卷积神经网络在十二种不同的图像失真下的实验对比，研究表明，与这三种人工智能算法相比，人类视觉系统在几乎所有的测试图像处理中都更加鲁棒，其误差模式渐行渐远。本文还证明了，利用失真图像直接训练的深度学习神经网络在恰当的测试条件下，表现优于人类。然而，当被分别用于测试不同类型的失真图像时，它们的泛化能力极差，无法适应噪声分布的变化，这成为深度学习视觉系统所面临的关键挑战，可用一种终身机器学习的方法进行系统化解决。

Aug, 2018

使深度神经网络对标签噪声具有鲁棒性：一种损失修正方法

该论文提出了一种基于理论的方法来训练深度神经网络，包括循环网络，使其适用于存在类别相关标签噪声的情况，并提出两种提高模型噪声稳健性的损失函数矫正方法和一种端到端的噪声估计框架并进行了大量实验证明了这个方法的实用性和有效性。

Sep, 2016

基于深度学习的压缩感知鲁棒性评估

对比深度神经网络和传统的稀疏方法，本文分析了图像重建的鲁棒性，并发现深度神经网络方法比传统方法在保持稳健性的前提下，提供更高的重建质量。

Feb, 2021

卷积低分辨率细粒度分类

使用高分辨率图像分类和卷积超分辨率技术相结合的方法，提出了一种用于解决低分辨率图像细节问题的端到端的深度模型，并在 Stanford Cars 和 Caltech-UCSD Birds 200-2011 数据集上进行了广泛的实验，结果表明该模型在低分辨率图像中能更好地分类细分类别。

Mar, 2017