Feb, 2022

使用逐元素激活缩放增强卷积神经网络的鲁棒性

PDF
TL;DR本文研究了通过精细调整激活元素以改进 CNN 模型的对抗鲁棒性的 Element-Wise 激活缩放方法，实验结果在 CIFAR10 和 SVHN 上表明，EWAS 显著提高了 ResNet-18 的对抗性准确性达到了 82.35％，是对提高模型对抗鲁棒性简单且有效的方法。
adversarial robustnesscnn modelintermediate activationelement-wise activation scalingresilience
发现论文，激发创造
  • 通过通道级激活抑制来提高对抗性鲁棒性

    本文从渠道角度分析对抗 perturbations 特性，提出了一种基于通道的抑制策略 (CAS) 用于训练一个本质上抑制对抗激活的模型，进一步改善现有防御方法的鲁棒性。

    Mar, 2021

  • 使用逐元素梯度缩放的网络量化

    本文提出了一种新的基于 element-wise gradient scaling 的量化网络的训练方法，该方法可以更好地解决量化误差问题，提高在有限硬件资源情况下深度神经网络的稳定性和准确性。

    Apr, 2021

  • 可证明的对抗性防御的扩展

    本文提出了一种技术，能够将深度学习分类器的防御性能从较小的前馈神经网络拓展到更广泛的网络结构，同时采用非线性随机投影的方式进行训练，并通过级联模型进一步提高分类器的鲁棒性能。在 MNIST 和 CIFAR 数据集上进行实验，证明了该方法在可证明的抗干扰错误率上有着明显的提升。

    May, 2018

  • 使用特征图缩放的改进型 RawNet 实现基于原始波形的语音识别中的文本无关说话人验证

    本研究提出了使用各种方法来缩放特征图的机制，包括使用 sigmoid 非线性函数采用缩放向量来乘法和加法缩放特征图，以及使用 SincNet 的 sinc-convolution 层替换第一卷积层，实验结果表明该方法有效，最佳表现的系统较原始 RawNet 减少一半的等误差率，并在 VoxCeleb1-E 和 VoxCeleb-H 协议下实现了优于现有最先进系统的扩展评估结果。

    Apr, 2020

  • 图像修复的规模卷积

    本文提出了一种新的尺度卷积方式 ——scale-wise 卷积，并基于该方式构建了一个包含多尺度信息的神经网络模型，该模型在图像超分辨率、降噪和压缩伪影去除等图像恢复任务上均表现出色。

    Dec, 2019

  • 深度神经网络的特征层级增强提高仿射变换鲁棒性

    本文提出了在中间神经网络层引入数据增强以改善卷积神经网络不适用于少量像素旋转或平移的问题，并证明该方法比已有的两种方法获得更好的精度和平均翻转比。

    Feb, 2022

  • 使用高效的分层对抗训练正则化深度网络

    研究表明，对深度神经网络进行对抗训练可以规范化网络，同时提高其对抗样本的鲁棒性。本文提出通过扰动中间层激活来进行对抗训练，发现与只扰动输入相比，扰动中间层激活的优势在于训练非常深的模型时可以提高性能。实验结果展示了所提出的对抗训练方法的优越性。

    May, 2017

  • 快速准确的模型缩放

    本文探讨卷积神经网络的扩展策略，指对基础卷积网络进行扩展以赋予其更高的表征能力。作者提出一种快速且简单的复合扩展策略，旨在主要扩展模型的宽度，而稍微扩展其深度和分辨率。实验结果表明，许多扩展策略可以产生类似的精度，但其性能却各异。该研究为在各种计算约束下分析和选择缩放策略提供了框架。

    Mar, 2021

  • 通过自适应逐实例损失平滑提升对抗训练

    通过对输入进行敌对扰动（即人类感知不到的人工噪音），深度神经网络容易产生错误预测。迄今为止，敌对训练已成为对抗性攻击最成功的防御方式。本文聚焦于改进敌对训练以提高对抗性强度，提出了一种新的敌对训练方法 ISEAT，它通过自适应、实例特定的方式同时平滑输入和权重损失景观以增强鲁棒性，证明与现有防御方法相比，该方法具有显著的优越性。

    Mar, 2023

  • 卷积神经网络中的向量场尺度等变性

    研究注入本地规模等变性对卷积神经网络的影响，通过在多个尺度上应用每个卷积滤波器来实现。输出是一个向量场编码，用于表示最大激活尺度和尺度本身，这进一步由以下卷积层进行处理。这可使所有中间表示在本地上成为规模等变的。研究发现，这种方法在 MNIST 数字的随机缩放因素回归等已知规模等变任务中会显着提高模型性能超过 20％。此外，还发现该方法对于实际随机缩放数字的分类等尺度不变任务也有用。

    Jul, 2018