低秩权重对神经网络对抗鲁棒性的影响

Jan, 2019

低秩权重对神经网络对抗鲁棒性的影响

On the Effect of Low-Rank Weights on Adversarial Robustness of Neural Networks

Peter Langenberg, Emilio Rafael Balda, Arash Behboodi, Rudolf Mathar

TL;DR研究的问题是通过压缩来探究神经元网络的鲁棒性并揭示其中的关键特性，其中低秩结构通过核范数正则化促进并结合稀疏性使神经网络显示出显著的鲁棒性。

Abstract

Recently, there has been an abundance of works on designing Deep Neural Networks (DNNs) that are robust to adversarial examples. In particular, a central question is which features of DNNs influence adversarial robustness and, therefore, can be to used to design robust DNNs. In this wo

deep neural networks adversarial robustness compression low-rank structure nuclear norm regularization

发现论文，激发创造

通过近似正交约束的鲁棒低秩训练

介绍了一种在保证模型精度的情况下，同时降低深度学习中推理和训练成本，并通过基于神经网络条件数的模型稳健性表明低秩矩阵分解（low-rank matrix factorizations）容易导致模型鲁棒性的问题，提出了一种基于鲁棒低秩矩阵训练的算法，通过施加近似正交约束，保证了低秩表示与近似完整的模型之间精度。通过实验证明降低深度学习模型中推理和训练成本的同时，提高了模型的鲁棒性。

Jun, 2023

稀疏深度神经网络的改进对抗鲁棒性

本文研究了基于深度神经网络的分类模型中稀疏性与鲁棒性之间的关系，并理论和实证分析表明，适当的模型稀疏化可以提高非线性 DNN 的鲁棒性，但过度稀疏化会使模型更难抵抗对抗性样本攻击。

Oct, 2018

对抗鲁棒性与模型压缩，还是两者兼顾？

本文提出了一种并发对抗训练和权重修剪的框架，可以在保持对抗鲁棒性的情况下实现模型压缩，同时解决对抗训练的困境，并进一步研究了关于传统设置下的权重修剪的两个假设。

Mar, 2019

通过对抗性权重修剪实现更高的排名

卷积神经网络在边缘设备上部署困难，提出了一种基于排名的修剪方法（Rank-based PruninG），通过稀疏权重的高秩拓扑结构来实现高稀疏度，该方法在各种数据集和不同任务上验证了其有效性。

Nov, 2023

关于深度神经网络中稳定秩的影响

本研究探讨了深度神经网络模型稳定秩的空间，分析了前向动力学、初始化、训练和表达性等方面，并通过实证分析表明，仅稳定秩初始化即可加速收敛速度。

Oct, 2021

通过卷积核的权重分布重新考虑准确性和鲁棒性的权衡

研究表明对抗攻击是深度神经网络的潜在威胁，本文提出了一种动态网络架构 AW-Net，通过梯度规范化、分化处理和根据输入样本调整网络权重的方法，实现了同时提高准确性和鲁棒性的性能。

Jun, 2023

压缩神经网络的对抗微调：强化鲁棒性和效率的联合改善

探讨深度学习中模型压缩方法对对抗鲁棒性的影响，发现压缩不会导致模型损失鲁棒性，而对压缩模型进行对抗微调可以显著提高鲁棒性性能并改善计算效率。

Mar, 2024

神经排序崩溃：权重衰减和小的内类变异性带来低秩偏差

深度学习中的低秩偏好与神经网络的神经层塌陷现象相关，权重衰减参数的增长导致网络中每一层的秩与前一层隐藏空间嵌入的类内变异成正比减少。

Feb, 2024

神经动态的低张量秩学习

通过大规模神经记录，我们研究了学习过程中权重矩阵形成的 3-Tensor 的秩，并发现推断得到的权重具有较低的张量秩，并且通过数学结果证明了较低的张量秩权重在训练低维任务的 RNN 中自然地产生。

Aug, 2023

深度神经网络中的降维

本文研究神经网络的秩与结构缺陷，通过理论和实验发现了深度神经网络中秩缺陷和分类的独立性缺陷。

Jun, 2022