Dec, 2020

模型鲁棒性的奇异值视角

PDF
TL;DR本文研究探讨卷积神经网络在人工智能领域的应用，并且探讨该类网络存在的问题和局限性，提出使用奇异值分解方法可以分析卷积神经网络中涉及到的非人类因素，从而对其产生作用的原因展开研究。同时提出了一种新的特征分配方法，建立了卷积神经网络的理论框架。
convolutional neural networksbiasesexplainabilitygeneralization behaviorsingular value decomposition
发现论文，激发创造
  • 卷积权重的奇异值分解：一种 CNN 可解释性框架

    本文提出一种基于张量的奇异值分解的方法，用于理解卷积层的动态过程和发现卷积特征之间的相关性，以及在图像分类网络中应用超图模型进行可解释性研究。

    Aug, 2022

  • 关于普适对抗和不变扰动

    本文研究使用 CNN 以及其衍生的 GCNN 在旋转不变性训练方面的成果，以及在特定谱属性下所提出的通用性对抗性扰动技术 SVD-Universal 的效果与普适性。

    Jun, 2020

  • 可解释的对抗性鲁棒卷积神经网络有多好？

    本文使用 9 种特征重要性方法和 12 种各种架构和培训算法的 ImageNet CNN 进行了第一次大规模评估，并发现了其中的一些重要洞察和建议，例如，GradCAM 和 RISE 是最佳方法，插入和删除分别对应于普通和稳健模型。

    May, 2022

  • 卷积神经网络参数的动态等级剪枝压缩

    通过动态参数排除，我们提出了一种用于卷积神经网络压缩的高效训练方法，使用奇异值分解（SVD）对低秩卷积滤波器和密集权重矩阵进行建模，并通过端到端的反向传播训练 SVD 因子。我们的方法在各种现代卷积神经网络和计算机视觉数据集上进行评估，并展示了它在分类性能上的适用性。实验证明，该方法能够在保持或提高分类性能的同时实现显著的存储节省。

    Jan, 2024

  • 行人检索的 SVDNet

    该论文提出了一种基于 SVDNet 的人物再识别方法，通过优化深度表示学习过程并使用正交约束迭代训练，可以有效降低投影向量之间的相关性，并显著提高 re-ID 准确性。

    Mar, 2017

  • 通过转换低秩参数化可以为张量神经网络带来鲁棒泛化能力的提升

    探究 Tensor Singular Value Decomposition (t-SVD) 理论上对于 Neural Networks with t-product layers (t-NNs) 的影响，研究发现使用 exact transformed low-rank parameterization 的 t-NNs 能够提高其对于 adversarial generalization 的性能，并且即使 t-NNs 很少有完全 transformed low-rank weights，也可以通过 gradient flow (GF) 的 adversarial training 得到类似的效果，表明 transformed low-rank parameterization 在一定条件下可以提高 t-NNs 的鲁棒泛化性能。

    Mar, 2023

  • 奇异值表示：神经网络的新图形视角

    通过奇异值分解神经网络权重，构建权重图，探索并非在输入数据下，批规范化引起神经元之间的显著连接和自发稀疏现象，从而提出了奇异值表示作为一种新的方法来表示神经网络的内部状态。

    Feb, 2023

  • 通过奇异向量正交正则化和奇异值稀疏化学习低秩深度神经网络

    本研究提出了一种名为 SVD training 的神经网络压缩方法，通过正交性正则化和奇异值剪枝等技术，可以在训练过程中显式地实现降低矩阵秩的目标，从而更有效地减少 DNN 算法在低性能设备上的计算负担。

    Apr, 2020

  • 医学图像的卷积分解中的奇异值扁平化

    通过将卷积滤波器的权重矩阵分解为两个低秩矩阵，将模型进行减少，并通过最小化两个低秩权重矩阵与均匀分布之间的 KL 散度，减少具有显著方差的奇异值方向的数量，从而提高因子化卷积在医学图像处理模型中的表达能力。我们的 SFConv 在多个数据集上进行的实验证明，它在保持性能的同时减少了复杂性。

    Mar, 2024

  • 信息瓶颈结合奇异正则化改进模型的对抗鲁棒性

    通过奇异值分解将图像分解为多个矩阵，对不同攻击的敌对信息进行分析，提出一种新的模块来规范敌对信息，并结合信息瓶颈理论实现中间表示的理论限制，从而提高模型的鲁棒性。

    Dec, 2023