本研究旨在通过应用离散傅立叶变换和频谱表示提供有效的计算卷积方法，并且展示频谱域应用于卷积神经网络设计的创新，如频谱池化、随机修改分辨率的新形式随机正则化、卷积过滤器的复系数频谱参数化等。在不使用任何 dropout 或 max-pooling 的情况下，这些方法在分类和逼近任务中取得了有竞争力的结果，并且观察到这些方法可以显著加快训练的收敛速度。

Jun, 2015

本文提出了一种新的 dropout 方法 —— 学习 dropout 模式。通过控制器在每个通道和层生成 dropout 模式，并利用其对目标网络进行训练，该方法被证明对图像识别和语言模型都有效。通过学习 dropout 模式，该模式还可以适应不同的任务和数据集。

Jan, 2021

本研究通过对输入扰动的敏感性来研究基于深度学习的泛化能力，提出了一种简单而有效的正则化方法 —— 谱范数正则化，试验结果证实其比其他基准方法更具有泛化性能。

May, 2017

该研究将卷积神经网络推广到高维不规则图像中，通过谱图理论提出了一种卷积滤波器设计方法，在保持线性和常数学习复杂度的同时，实现了对任意图结构的卷积作用，成功在图像识别领域实现了局部、平稳、组合特征的学习。

Jun, 2016

单层线性网络中，DropBlock 引入了谱 k-support 正则化，促使解具有低秩和等范数的因子。这个全局极小值可以用闭合形式计算。若在最后一层应用 Dropout，某些假设下此结果可扩展到 Dropout 策略的一般类和深度非线性网络中，并用经常使用的网络结构实验验证了理论结论和假设。

Oct, 2019

本文主要研究卷积神经网络（CNNs）的正则化问题，提出了几种改进的 dropout 变体，通过在卷积操作之前放置 dropout 操作或将 BN 替换为 GN，以减少 dropout 和其后的 BN 之间的矛盾，以提高 CNNs 的训练效果和正则化。实验证明，通过这些方法构建的 CNN 的性能明显优于现有的 CNN，这主要归功于更好的正则化和隐式模型集成效应。

Apr, 2019

本研究旨在通过使用谱规范化方法，为深度神经网络在对抗性环境下的训练提供一种有效的正则化策略，以解决其在输入微小的对抗性扰动下缺乏鲁棒性的问题。同时，我们将边界损失延伸到对抗性环境，并限制了多个梯度攻击方案下深度神经网络的泛化误差。

Nov, 2018

本文总结了 dropout 方法的历史、各种应用以及当前研究兴趣的领域，同时详细描述了一些重要的提出方法。

Apr, 2019

为了高效执行边缘计算设备上的深度学习系统，我们提出了一种新的理论框架来模型压缩并提出了一种称为 “谱剪枝” 的新的修剪方法。我们通过使用协方差矩阵在内部节点上的特征值分布来量化模型的内在维度，并表明压缩能力本质上由此控制。此外，我们提供了压缩模型的尖锐泛化误差界并表征了压缩过程引起的偏差 - 方差平衡问题。我们将我们的方法应用于多个数据集，以验证我们的理论分析并展示所提出的方法的优越性。

Aug, 2018

本研究采用变分丢失技术，提供了一种优雅的高斯丢失的贝叶斯解释，将其扩展到丢失速率无界的情况，提出一种减少梯度估计器方差的方法，并在每个权重的情况下报告第一个实验结果。有趣的是，在完全连接和卷积层中都导致极度稀疏的解决方案。这种效应类似于实证贝叶斯中的自动相关确定效应，但具有许多优势。我们在 LeNet 架构上将参数减少了最多 280 倍，并在类似 VGG 的网络上将参数减少了最多 68 倍，同时准确度几乎不减。

Jan, 2017