模型鲁棒性的奇异值视角
本研究通过对深度学习模型的多方面度量，特别是模型对输入扰动的敏感性度量，研究了大规模的、过度参数化的神经网络与小规模的夹杂网络的复杂度与泛化之间的紧张关系，并得出结论：训练的神经网络在其训练数据范围内更加鲁棒，这种鲁棒性与泛化能力有关联，而诸如数据扩增和修正线性单元等好的泛化因素会带来更强的鲁棒性。
Feb, 2018
通过对标准 2D 多通道卷积层所关联的线性变换的奇异值的表征，我们能够有效计算它们。此表征还引导我们提出了将卷积层投影到算子范数球上的算法。我们证明了这是一种有效的正则化方法；例如，它将使用 CIFAR-10 数据集和批标准化的深度残差网络的测试误差从 6.2% 提高到 5.3%。
May, 2018
通过对三种著名的深度卷积神经网络在十二种不同的图像失真下的实验对比，研究表明，与这三种人工智能算法相比，人类视觉系统在几乎所有的测试图像处理中都更加鲁棒，其误差模式渐行渐远。本文还证明了，利用失真图像直接训练的深度学习神经网络在恰当的测试条件下，表现优于人类。然而，当被分别用于测试不同类型的失真图像时，它们的泛化能力极差，无法适应噪声分布的变化，这成为深度学习视觉系统所面临的关键挑战，可用一种终身机器学习的方法进行系统化解决。
Aug, 2018
本研究提出了一种名为SVD training的神经网络压缩方法，通过正交性正则化和奇异值剪枝等技术，可以在训练过程中显式地实现降低矩阵秩的目标，从而更有效地减少DNN算法在低性能设备上的计算负担。
Apr, 2020
在对具备鲁棒性的深度学习模型进行卷积滤波器分析的研究中，发现经过对抗训练的模型形成了多样性更大、稀疏性更小且更正交的卷积滤波器，且具有更高的分类精度，需要更深层网络结构来实现，此方法也被成功地应用于CIFAR-10数据集中。
Apr, 2022
本文使用9种特征重要性方法和12种各种架构和培训算法的ImageNet CNN进行了第一次大规模评估，并发现了其中的一些重要洞察和建议，例如，GradCAM和RISE是最佳方法，插入和删除分别对应于普通和稳健模型。
May, 2022
本文提出一种基于张量的奇异值分解的方法，用于理解卷积层的动态过程和发现卷积特征之间的相关性，以及在图像分类网络中应用超图模型进行可解释性研究。
Aug, 2022
通过奇异值分解神经网络权重，构建权重图，探索并非在输入数据下，批规范化引起神经元之间的显著连接和自发稀疏现象，从而提出了奇异值表示作为一种新的方法来表示神经网络的内部状态。
Feb, 2023
本研究针对当前对抗性模型鲁棒性的主流方法提出了改进，通过仅对自然样本的梯度进行正则化来增强模型的平滑性。研究表明，这种方法在现代视觉变换器中表现优异，能在显著降低计算成本的同时，接近最先进的对抗训练性能，从而为模型鲁棒性提供了新的见解。
Sep, 2024