介绍了一种基于卷积结构的归一化方法 (Convolutional Normalization)，它可以方便地作为模块嵌入到任何卷积神经网络 (ConvNets) 中，通过提高权重的正交性和每层的通道等距性，减小权重矩阵的层范数，提高网络的 Lipschitzness 并且提高 GAN 性能和普适性。

Mar, 2021

本文提出利用随机化在推理时间解决对抗性样本攻击的问题，采用随机的大小和填充来进行防御，现在已经成为一种非常有效的方法，公开代码可用。

Nov, 2017

本文研究深度卷积神经网络滤波器修剪方法，通过检验实验证明，我们使用随机滤波器修剪策略能够获得接近最先进修剪方法的性能，同时在图像分类和目标检测中均能实现显著的加速。

Jan, 2018

本文研究表明，即使只初始化和不更新空间滤波器，某些 CNN 体系结构也可以通过重新解释逐点（1×1）卷积的概念来训练超越标准训练的模型，使其胜任 CIFAR 和 ImageNet 高测试精度，并具有模型鲁棒性，泛化性，稀疏性以及所需权重总数方面的良好特性。此外，我们提出了一种新的权重共享机制，可以在所有空间卷积层之间共享单个权重张量，从而大大减少权重的数量。

Jan, 2023

研究表明，通过暂时修剪和恢复模型的子集滤波器，反复进行该过程，可以减少所学习特征的重叠，从而提高了模型的泛化能力；而在这种情况下，现有的模型修剪标准并不是选择修剪滤波器的最优策略，因此引入了滤波器之间内部正交性作为排名标准。这种方法适用于各种类型的卷积神经网络，能够提高各种任务的性能，尤其是小型网络的性能。

Nov, 2018

该研究介绍一种有效的方法 ——Flipout 可以使得独立的权重扰动在每一个实例上进行采样，从而可以减小大规模 minibatch 的方差，并且可以在训练 LSTM 等神经网络时进行优化，同时可以替代现有方法用于演化策略。

Mar, 2018

在对具备鲁棒性的深度学习模型进行卷积滤波器分析的研究中，发现经过对抗训练的模型形成了多样性更大、稀疏性更小且更正交的卷积滤波器，且具有更高的分类精度，需要更深层网络结构来实现，此方法也被成功地应用于 CIFAR-10 数据集中。

Apr, 2022

本文研究证明，数据增强中使用多尺度的随机卷积来增加数据集的多样性，可以显著提高神经网络的鲁棒性和泛化性能，特别是在图片领域的常见深度学习挑战中，描述如何将其应用于各种深度学习模型上。

Jul, 2020

研究了神经网络的子集重新初始化方法在 12 个基准图像分类数据集上的影响，提出了一种新的逐层重新初始化算法，该算法优于以前的方法，并表明可以通过逐层重新初始化卷积神经网络来提高其在小数据集上的准确性。

Sep, 2021

本文研究了 Convolutional Neural Networks 的回归模型，使用了 Tukey 的 biweight 函数作为损失函数，同时提出采用逐渐提高分辨率的输入图像的粗粒度模型，经过实验表明在人体姿势估计和面部年龄评估任务中，这种方法产生了更好的效果。

May, 2015