本文研究探讨通过使用去噪神经网络替代凸优化算法中的正则化程式近算，使得数据项和正则化项可以独立选择并结合。在图像去模糊和去马赛克问题中，通过使用固定的去噪神经网络，本文取得了最先进的重建效果，并且该方法具有很高的通用性和较少的问题特定训练需求。

Apr, 2017

我们提出了一种自适应的变分dropout方法，在此方法中使每个神经元进化为通用或特定于某些输入，或完全被删除，以允许网络耐受更大程度的稀疏性，同时消除功能中冗余项，我们在多个公共数据集上验证了我们的依赖性变分beta-Bernoulli dropout方法，并获得比基准方法更紧凑的网络，其中在基本网络上保持准确性。

May, 2018

介绍了一种新的数据驱动的总变分正则化器，将反问题的变分公式与深度学习相结合，使用卷积神经网络提取多尺度和连续块中的局部特征， 实现了全局优化控制和相对于正则化器的参数和初值的稳定性分析，并在众多成像任务上实现了最先进的结果。

Jun, 2020

本文通过针对残差网络的架构设计探究在拓扑结构、深度和宽度等方面的影响，设计了一系列RobustResNets，实验证明该网络在多个数据集和对抗攻击中表现出色，达到了AutoAttack鲁棒准确率的最新记录。

Dec, 2022

深度神经网络在反问题如降噪方面表现出色，但对抗性或最坏情况扰动敏感，本文研究了添加正态噪声的正则化技术jittering是否有效于学习最坏情况下鲁棒的反问题估计器。通过对线性降噪器进行分析表明，jittering能够产生最佳的鲁棒降噪器。此外，通过对自然图像降噪、反卷积和磁共振成像（MRI）的深度神经网络（U-nets）进行实证研究，结果显示jittering显著提高了最坏情况下的鲁棒性，在除降噪之外的反问题中可能存在非最优情况，同时结果暗示通过对含有轻微噪声的真实数据进行训练，也能够提升鲁棒性。

Jul, 2023

基于梯度稀疏性和随机矩阵理论的激活稀疏性，该研究解释了深度模型中激活稀疏性的理论机制以及其在对抗鲁棒性和性能方面的重要性，并提出了几种用于训练和稀疏调整的模块和修改的方法。

Sep, 2023

通过在图像分析问题中训练神经网络的导数，可获得更准确的结果并解决网络的鲁棒性问题。

Oct, 2023

我们提出了一种高效的无参数方法，用于从受损训练集中进行统计学习。我们使用潜在的伯努利变量来确定受损和非受损样本，从而将鲁棒学习问题形式化为最大化似然函数，在其中对潜在变量进行边缘化处理。我们使用基于期望最大化的高效变分推断方法来解决由此产生的优化问题。所提出的方法通过自动推断损坏程度和识别异常值，同时添加最小的计算开销，胜过现有技术水平。我们在各种机器学习任务上展示了我们的鲁棒学习方法，包括在线学习和深度学习，在这些任务中，它表现出适应不同噪声水平和高预测准确性的能力。

Dec, 2023

本研究针对在超低精度和稀疏条件下训练深度神经网络时遇到的反向传播障碍，提出了一种新颖的稳健通用解决方案：去噪仿射变换。通过将量化和稀疏化视为训练过程中的扰动，我们基于岭回归推导出了一种抗扰动的方法，为现有模型提供了在任意低精度和稀疏水平下的训练能力，并为缩小人工神经网络与生物神经网络之间的差距贡献了新思路。

Sep, 2024

本研究针对当前对抗性模型鲁棒性的主流方法提出了改进，通过仅对自然样本的梯度进行正则化来增强模型的平滑性。研究表明，这种方法在现代视觉变换器中表现优异，能在显著降低计算成本的同时，接近最先进的对抗训练性能，从而为模型鲁棒性提供了新的见解。

Sep, 2024